游戏助手智能体-多模态理解应用能力研究

课题背景： 当前游戏智能体在多模态交互上存在明显短板：视觉语言模型（VLM）对游戏场景理解浅、实时性不足，且难以融合玩家操作行为、自然语言表达等多源信息，无法提供精准高效的游戏辅助。本课题聚焦游戏助手场景，以 VLM 深度研究为核心，构建可跨游戏品类推广的多模态理解能力，为玩家提供智能指引、操作辅助等功能，提升游戏体验与业务价值。 课题挑战： 游戏域 VLM 高效理解挑战：游戏画面高动态、UI 复杂、弱文本依赖，传统 VLM 易误判场景、漏检关键元素，且需满足毫秒级实时推理要求，同时要实现新游戏 / 新玩法的少样本快速适配。 多模态信息融合与意图建模挑战：需整合游戏视觉、玩家语音 / 文本、操作行为、历史交互等异构数据，精准解析模糊、动态的玩家意图，同时构建长期记忆以支撑连贯辅助。 跨场景泛化与工程落地挑战：不同游戏品类逻辑差异大，模型需具备强跨域泛化能力；同时要满足低延迟、高并发、多平台兼容的商业化要求，实现技术到功能的快速转化。 具体工作： 你将参与游戏域 VLM 优化、多模态信息融合、用户意图建模、跨场景泛化技术研发，将成果转化为智能指引、操作辅助等游戏助手功能，提升智能体的实时理解与辅助能力。

1. 01

   包含但不限于数学、计算机、人工智能等相关专业的博士和优秀硕士；

2. 02

   熟练掌握计算机视觉和图像处理相关的基本算法及应用，熟悉tensorflow，pytorch等至少一个深度学习框架；

3. 03

   较强的工程实现能力，熟练掌握 C/C++ 编程，熟悉 Shell/Python至少一种编程语言。