【高阶岗位】预训练青年/资深科学家

岗位职责 1 预训练技术路线与体系规划 - 参与制定通用基座大模型中长期预训练技术规划，涵盖大规模预训练数据、预训练任务、训练范式、并行架构、超参体系等顶层设计； - 研判业界基座模型技术趋势，持续优化稠密模型、稀疏MoE模型训练路线，定义年度基座模型迭代版本与技术指标； - 结合OpenCompass评测体系，建立基座模型能力基线，形成训练、评测、归因、迭代完整研发闭环。 2 大规模预训练算法攻关 - 通用基座大模型预训练算法研发，优化预训练目标函数、训练 Curriculum、知识覆盖、冷热知识平衡； - 负责模型初始化、归一化、激活、位置编码等底层模块调优，提升模型收敛速度、训练稳定性与泛化能力； - 攻克超大模型训练梯度爆炸、损失震荡、欠拟合、能力偏科等技术难点，持续提升通识、数理、代码、逻辑基础能力。 3 预训练数据工程体系建设 - 协助统筹万亿级高质量预训练语料建设，负责数据来源、分布配比、去重、过滤、提纯、脱敏、分词体系搭建； - 设计多领域、多语种、多知识层级的数据配比策略，优化高质量知识语料、专业语料、长文本语料占比； - 建立数据质量评估、污染检测、异常识别机制，构建标准化、可迭代、可管控的预训练数据生产线。 4 算力及模型训练协同 - 联动算力工程、模型架构、后训练、多模态团队，完成分布式训练、显存优化、通信优化、算力调度协同； - 参与制定训练集群运维规范、训练故障排查机制，保障大规模长时间稳定预训练。

1 基础资质 - 计算机、人工智能、数学、NLP、深度学习等相关专业，博士学历优先，顶尖名校硕士可破格； - ，具备极强科研判断力，认同实验室长期主义基座研发理念。 2 工作经验 - 6年以上大模型预训练研发经验，2年以上算法团队管理经验； - 完整主导过百亿/千亿参数稠密大模型预训练全流程，具备大规模算力集群量产训练经验； - 有头部研究院、大厂基座大模型研发经验，熟悉国产算力集群训练流程优先。 3 专业能力 - 精通Transformer基座原理，熟练掌握预训练任务设计、训练超参调优、loss优化、训练稳定性控制； - 精通大规模文本数据处理流程，熟悉数据去重、质量过滤、毒性检测、领域配比、语料提纯； - 熟练掌握Megatron-LM、DeepSpeed等分布式训练框架，精通张量并行、流水线并行、MoE并行技术； - 具备模型训练故障归因、损失分析、收敛调优实战能力，深刻理解大模型涌现能力与缩放定律。 4 综合素质 - 具备基座模型顶层设计能力，能够独立制定中长期预训练技术路线； - 抗压能力强，擅长大规模研发团队统筹、跨部门协同、算力资源调度； - 在ICML、NeurIPS、EMNLP等顶会发表预训练、大模型相关论文/专利优先。

5. 05

   优先条件 - 主导过百亿至千亿级基座大模型完整预训练、冻结、版本迭代、开源发布； - 在大规模数据工程、并行训练、训练稳定性、稀疏模型任一方向有行业标杆成果； - 具备主流基座模型深度训练优化经验。