混元基座模型——多模态理解预训练结构与算法研究

课题背景

1. 01

   多模态模型结构设计：视觉编码器、跨模态融合模块、MoE、Attention上的新架构层出不穷，如何设计更高效、更具扩展性的多模态模型结构仍充满挑战。

2. 02

   训练效率与成本：超大规模 VLM 训练需要兼顾模型效果、训练效率和推理成本，在算力约束下不断逼近性能上限。

3. 03

   能力持续演进：如何让模型在 OCR、GUI、视频、Agent、长视觉上下文等复杂场景持续获得泛化能力，是当前多模态领域的重要研究方向。 具体工作： 你将参与混元多模态基座模型的核心结构与预训练算法研发，探索视觉编码器、跨模态融合、注意力机制、MoE、多模态训练策略等关键技术；设计并验证新型模型结构和预训练算法，在大规模分布式训练平台完成实验验证，不断提升多模态模型的理解、推理和生成能力；你将有机会参与业界领先的多模态基础模型研发，将创新成果沉淀为顶级学术论文、开源项目或核心技术专利，推动下一代多模态大模型的发展。

1. 01

   自然语言处理/机器学习/模式识别/人工智能/计算机等相关专业硕士以上学历；

2. 02

   在NLP、LLM、深度学习、强化学习方面有一定研究基础，熟悉主流模型和算法，并有一定的实践经验；

3. 03

   较强的工程实现能力，熟练掌握C/C++，Python等至少一种语言，有实际编程项目经验，熟悉DeepSpeed、Megatron等分布式训练框架，熟练使用至少一种深度学习框架(如TensorFlow，PyTorch等)；

4. 04

   有高质量论文发表者优先（如ACL、EMNLP、NeurIPS、ICML、ICLR等)；

5. 05

   具备强烈的进取心、自驱力及团队合作精神，热衷于追求技术创新。