超大规模多模态训练系统性能优化

针对视频模型/世界模型超大规模集群训练场景，聚焦优化超长序列和计算负载不均衡问题：

1. 01

   针对超长序列场景（1M+）的视频训练，需要解决由于时空复杂度随帧数呈平方级爆炸导致的显存墙突破难、计算密集型算子引发的硬件利用率（MFU）低，以及流水线并行中因帧间依赖造成的负载不均与通信阻塞等问题；

2. 02

   针对世界模型训练中视觉、音频、文本等模态间的计算特性差异和不同批次数据长短序列问题，研究基于实时数据调度和计算图切分的动态负载均衡方案，以解决因“木桶效应”导致的GPU空置问题，从而显著提升多模态世界模型在超大规模集群训练的吞吐量与资源利用率。

1. 01

   计算机科学、人工智能、模式识别、计算语言学等相关专业硕士及以上学历；

2. 02

   精通一种或多种主流深度学习框架（PyTorch、JAX、TensorFlow），具备大规模分布式训练经验；

3. 03

   熟悉LLM/DiT等模型的训练流程，有 Megatron、DeepSpeed、FSDP等大规模训练框架使用经验者优先；

4. 04

   具备扎实的工程实现能力与代码规范意识，熟悉CUDA优化、参数并行、流水线并行等技术。