混元多模态-音视频理解架构研究

课题背景：多模态大模型目前确定的模型架构在长音视频理解上遇到了极大的挑战，面对几十分钟到数小时不等的视频处理效率极低，新的模型架构已经成为当前领域的重要探索方向。 课题挑战：相比语言模态和图片，音视频的长距离时序依赖建模极难，信息高度冗余，有效语义稀疏，可以从架构层面实现更高效的长音视频/流式音视频的理解。 具体工作：参与音视频理解的模型架构设计，从架构侧解决长音视频，比如从几十分钟到数小时不等，的复杂理解问题。

1. 01

   学历与专业： 来自计算机科学、人工智能、电子信息、信号处理等相关专业的博士/硕士同学，具备扎实的机器学习理论基础，有多模态方向研究经验者优先；

2. 02

   技能要求：精通 PyTorch 框架与 Python 编程；深度掌握 Transformer 架构及主流MLLM和omni模型原理；熟悉多模态模型架构及 DeepSpeed/Megatron 分布式训练工具；

3. 03

   软性素质： 具备较强的问题分解与独立研究能力；能在模糊问题定义上给出清晰的拆解思路和方法。