混元多模态-多模态生成模型加速技术研究

课题背景： 随着多模态生成技术在内容创作等领域的规模化应用，模型效率已成为制约其落地的核心瓶颈。腾讯混元系列多模态大模型在文生图、视频生成等任务中展现出卓越的生成质量，但面临着推理延迟高、硬件部署成本高昂等问题。模型加速技术的突破将直接推动多模态生成走向大规模实用，相关核心技术亟需深入探索与攻克。 课题挑战： 当前多模态生成模型的加速技术仍面临诸多未解决的难题，

1. 01

   如何通过蒸馏、剪枝压缩等技术在不损失生成质量的前提下降低推理开销；

2. 02

   如何引入后训练方法在优化推理效率同时提升模型效果上限；

3. 03

   探索支持新一代原生多模态架构的加速方案。 具体工作： 青云实习生将参与腾讯混元多模态生成模型加速技术的前沿学术研究与工程落地，包括但不限于：多模态生成模型的步数蒸馏、剪枝轻量化、推理优化（cache、稀疏化）等。较强的实习生可深度参与混元主模型的加速版本迭代，成为核心技术贡献者，全程参与工业级多模态大模型从技术研发到落地部署的完整流程。

学历和专业要求： 来自计算机、人工智能、自动化等相关专业的优秀博士/硕士。 技术技能要求： 熟悉深度学习，有扎实的深度学习实践基础；熟练掌握图像&视频生成模型原理。并有相关实践经验和相关顶会论文发表；代码能力强，熟练掌握PyTorch。 此课题同时招聘应届实习生和低年级实习生。