Infra推理优化实习生（3D生成）

支撑团队不同大模型任务下的训练及推理优化，包括但不限于：架构设计、检查点优化、训练容错恢复、底层算子优化及通信优化等；

研究和优化大规模异构加速集群调度、存储、通信互联、监控、Profiling等组件，提升整体硬件利用效率；

针对具体任务调研并进行对应的 Scale Up 实验及优化，包括但不限于并行化策略优化、ZeRO/FSDP 优化、FP8、激活值优化等，加速模型训练，优化显存开销；

硕士及以上学历，具有扎实的计算机基础，熟悉操作系统和计算机体系结构等，熟练掌握 C++/Python，对数据结构与算法设计有较深刻的理解；

熟悉至少一种主流的深度学习框架（如 PyTorch）和至少一种主流的训练框架（如 Megatron/Deepspeed/FSDP）；

熟练掌握 CUDA 相关编程，有内核级优化经验者优先；

了解大模型训练基本范式，熟悉 Transformer 架构及其优化方法（如 FlashAttention、GQA/MLA 等）者优先；

责任心强，思路清晰，技术视野开阔，对业界新技术敏感，喜欢钻研，具有良好的学习能力并注重团队合作；

有大规模大模型训练和推理优化经验者优先；

熟悉cutlass 3.0和hopper架构，有算子优化经验者优先；

了解 Kubernetes 以及分布式存储，有相关开发经验者优先；

有大型互联网系统（如搜索、推荐、广告）开发经验者优先；

有发表 OSDI/MLSys 等顶会论文，或 ACM/ICPC 等编程比赛获奖经历者优先；