国家智能语音创新中心-大模型算法工程师-合肥(J14403)

1.负责文本、图像、视频和音频的多模态表征学习、特征融合及联合建模。

2.研究跨模态语义对齐算法，解决视觉、语音、文本及终端状态信息之间的表示差异。

3.研究基于交叉注意力、对比学习和共享表征空间的多模态特征融合方法。

4.负责视觉语言模型、音视频语言模型及全模态模型的算法设计、训练和效果优化。

5.研究图像及视频中的视觉指代、目标定位、区域语义理解和细粒度视觉问答算法。

6.研究视频时序建模算法，识别操作前后页面状态变化、界面跳转和动态响应过程。

7.研究音视频联合建模算法，提升模型对提示音、语音反馈、界面变化和设备状态的综合理解能力。

8.建设多模态结果断言模型，将测试意图、操作过程、状态变化和最终结果纳入统一模型进行判断。

9.研究多模态因果推理和状态转移建模，判断终端状态变化是否由指定操作触发。

10.研究复杂场景下的多模态异常识别算法，区分无响应、错误响应、状态异常和识别不确定等情况。

11.基于视觉检测、OCR和UI识别结果，研究界面结构编码、控件关系建模和页面语义图构建算法。

12.研究GUI Agent的状态表示、动作空间建模、策略生成和操作轨迹预测算法。

13.跟踪多模态大模型、GUI Agent、VLA、世界模型、模仿学习和强化学习等前沿方向，并完成算法复现与改进。

1.硕士及以上学历，计算机、人工智能、模式识别、计算机视觉或相关专业。

2.具备3年以上多模态、计算机视觉、视频理解或大模型算法研发经验。

3.熟练使用Py thon和PyTorch，能够独立完成模型结构开发、训练、调试和实验分析。

4.熟悉Transformer、注意力机制、视觉编码器、语言模型和跨模态交互模块。

5.熟悉对比学习、跨模态对齐、多模态融合、多任务学习等算法。

6.熟悉视觉语言模型或全模态模型的训练流程，具备真实模型训练经验，不限于接口调用。

7.熟悉监督微调、视觉指令微调、偏好优化或强化学习中的一种以上。

8.熟悉图像分类、目标检测、视觉指代、视频理解或音视频联合建模中的两类以上。

9.具备视频时序建模经验，熟悉时序注意力、状态转移识别或动作识别方法。

10.具备多模态数据集建设经验，能够设计样本组织方式、正负样本和任务标签。

11.具备独立设计损失函数、训练策略和评测指标的能力。

12.能够通过消融实验、错误样本分析和数据分布分析定位模型问题。

13.具备较强的论文阅读和算法复现能力，能够将前沿方法迁移到实际任务。

14.能够独立完成从任务定义、数据构建、模型设计到算法验证的完整研发过程。

【加分项】

1.具备视觉语言模型、音视频大模型或全模态模型训练经验。

2.具备多模态断言、视觉问答、视觉指代或视频时序推理项目经验。

3.具备GUI Agent、Computer Use Agent或智能终端操作模型研发经验。

4.熟悉模仿学习、强化学习、世界模型或智能体策略学习。

5.具备多模态自学习、主动学习或不确定性估计相关经验。

6.在多模态、计算机视觉、大模型或智能体方向发表过论文或拥有开源项目。