AI研究算法工程师-机器人多模态交互方向(J14731)

参与智能多模态交互端到端大模型的研发，打造极致类人的全双工交互体验，方向包括多轮对话拟人化回复、视觉及听觉环境感知主动交互、交互时机判定（流式判停、打断、拒识等）、工具调用、harness开发等；

支持机器人在真实场景中的多模交互落地，推动家庭服务、工业操作、医疗辅助、教育陪伴等场景的交互体验优化；

跟踪端到端语音交互模型、视听觉大模型、参数化表情/动作预测等学术界与工业界最新进展，探索新方法并应用到具身机器人交互智能场景；

与听觉感知、视觉感知及机器人运控导航团队协作，优化端到端交互链路的响应速度、自然度与稳定性。

重点院校计算机、人工智能、信号处理、语音语言等相关专业硕士及以上；

扎实的机器学习/深度学习理论基础，了解主流多模大模型的基本原理和训练方法；

具备良好的编程能力，熟练掌握Python，熟悉PyTorch深度学习框架；

对具身智能、机器人交互领域有浓厚兴趣；

具备快速学习和独立解决问题的能力，有良好的团队协作意识。 我们还希望你：

有语音/视觉交互大模型研发相关经验，并对harness/agent有一定的经验；

在国际顶级会议/期刊（包含但不限于NIPS、ICLR、CVPR、ICASSP、Interspeech）发表过相关论文；

在语音或机器学习相关竞赛中获得过领先名次。