微信视觉-全模态内容理解与推理研究

课题背景：微信场景中的画面、语音、环境声音和文本共同承载信息，需要模型进行统一理解，并支持持续输入下的智能应用。 课题挑战：如何融合多模态信息、理解复杂时序关系，提升长视频与跨模态推理能力，同时支持流式感知和及时响应。 具体工作：研究全模态模型架构、训练方法和评测体系；探索流式 Agent 的持续感知、上下文记忆、任务规划与实时交互，并推动应用落地。

学历和专业要求： 计算机科学、人工智能、电子信息、数学等相关专业的硕士或博士研究生，具备扎实的数学与机器学习基础。 技术技能要求： 掌握深度学习、熟悉多模态对齐与大模型训练；熟练使用Python和PyTorch，具备视觉、语言或音频方向研究实践者优先。 软性素质要求： 具备较强的研究热情、问题分析与独立探索能力；善于沟通协作，能清晰表达技术方案与实验结论，主动推动研究成果在真实业务中验证和落地。