腾讯集团
GUIAgent Bench及数据构建方式研究
RESPONSIBILITIES
岗位职责
课题背景： 多模态Agent的发展正经历从命令行界面（CLI）向直接操作图形用户界面（GUI）的跨越。然而，高质量、真实的“视觉-动作”轨迹数据极度匮乏，导致Agent难以在真实复杂的屏幕交互中实现精准理解和操作，亟需突破数据瓶颈。 课题挑战：
自动化数据合成范式：真实GUI交互轨迹收集成本极高，基于大模型及DOM树解析技术，探索出一条高效自动化合成GUI-ACTION指令的数据范式是首要难点。
全场景定位与操作：构建具有高指令密度的训练集及评测基准，并确保视觉Agent在Web、Office、PC及Mobile等异构设备与复杂场景下，均能实现极高准确率的UI元素定位（Grounding）与操作。 具体工作： 研发自动化GUI-ACTION数据合成方法；构建高指令密度的GUI训练数据集及评测Benchmark；提升视觉Agent在多端场景下的UI定位与操作准确率
REQUIREMENTS
任职要求
学历和专业：计算机视觉、VLM、计算机图形学或机器学习相关方向；在ICLR、NeurlPS，ICML、KDD、AAAI，IJCAI等机器学习领域会议或者期刊有第一作者发表过至少一篇文章。 技术技能：熟悉模型开发&训练常见框架，具备快速阅读和复现论文的能力，熟悉常见Agent框架及Agentic Workflow
信息来自企业官方招聘渠道
OfferSeek 对公开岗位信息进行聚合、去重和结构化整理，最终申请以企业官方页面为准。