微信小游戏-多模态交互式 GUI Agent 研究

课题背景： 小游戏平台游戏测试面临多场景、高频迭代的挑战，传统人工测试效率低且覆盖率有限。多模态大模型在视觉理解与自主决策方面取得突破，为构建智能游戏交互 Agent 提供了新路径，但针对小游戏特殊交互环境的 GUI Agent 研究尚处于早期，亟需深入探索。 课题挑战：

1. 01

   多模态感知融合：需将游戏界面截图、动态画面等视觉信息与操作语义深度融合，实现对复杂界面的精准理解与实时响应

2. 02

   动态交互决策：小游戏场景多变，Agent 需具备自适应的多步推理能力，在不同类型游戏中灵活切换策略

3. 03

   泛化与鲁棒性：需跨越不同类型小游戏的界面差异实现高泛化 GUI 操作，并保持对异常场景的鲁棒处理能力。 具体工作： 参与多模态视觉-动作大模型的 GUI Agent 架构设计与实现，完成小游戏场景下的智能交互实验与系统原型开发。

学历和专业要求： 来自计算机科学、人工智能、软件工程等相关专业的硕士或博士同学。 技术技能要求： 掌握深度学习与多模态模型相关算法，熟悉Python/PyTorch，有GUI自动化或强化学习经验者优先。 软性素质要求： 自驱力强，具备良好的沟通协作能力，能够主动探索前沿技术并快速迭代实验方案。