原生多模态(Any-to-Any模型)预训练及数据构建范式研究

课题背景： 现有主流多模态大模型常将基于自回归的“理解”与基于扩散的“生成”割裂为异构表征空间，导致跨模态对齐产生严重语义损耗。这种割裂状态使其难以实现原生的“图-文-音-视”交错对话与复杂逻辑推理，阻碍了Any-to-Any模型的演进。 课题挑战：

1. 01

   统一数据范式探索：打破理解与生成的壁垒，构建超大规模“多模态交错序列”数据集，并在不同模态混合下探索最佳数据配比与Scaling规律极具挑战。

2. 02

   端到端推理与评测基准：在一个模型内实现原生端到端的多模态深度推理与生成技术跨度大，且目前业内缺乏完善的Any-to-Any综合评测基准，需从零建立科学合理的评价体系。 具体工作： 构建超大规模多模态交错序列（Any-to-Any）训练数据集并探索最佳配比；建立综合评测基准；助力模型在一个框架内实现端到端的多模态深度推理与生成。

1. 01

   计算机/软件工程等相关专业硕士以上学历，拥有博士学位者优先；

2. 02

   熟悉计算机视觉、多模态领域的相关研究工作和算法，需要以第一作者身份发表多篇顶会论文，顶级研究机构或一线互联网工作经验加分；

3. 03

   熟练使用Python、PyTorch和CUDA等语言及工具，具备快速阅读和复现论文的能力；

4. 04

   具备优秀的分析和解决问题能力，良好的团队合作精神及沟通意识。