大语言模型预训练与后训练工程师

1. 01

   参与大语言模型的预训练全流程研发，包括数据清洗与配比、训练策略设计、并行训练优化、训练稳定性与收敛性调优。

2. 02

   负责模型后训练技术体系建设，涵盖监督微调（SFT）、奖励模型训练、RLHF、DPO、ORPO、PPO 等对齐算法的实现与迭代。

3. 03

   设计并执行模型评测方案，从通用能力、垂直领域能力、安全性、对齐效果等维度量化模型性能，输出迭代方向。

4. 04

   跟进预训练与后训练方向前沿技术，持续引入新方法优化模型效果与训练效率。

5. 05

   配合工程团队完成训练流水线、数据管线的自动化与平台化建设

学历专业：硕士及以上学历，计算机、人工智能等相关专业 知识技能：

1. 01

   精通 Transformer 架构原理与大语言模型训练流程，深入理解预训练目标、位置编码、归一化、注意力机制等核心组件。

2. 02

   具备完整的预训练或后训练项目经验，熟悉 SFT、RLHF、DPO 中至少一种对齐技术的原理与工程实现。

3. 03

   熟练使用 PyTorch，掌握 Megatron-LM、DeepSpeed、ColossalAI 等至少一种分布式训练框架，了解数据并行、张量并行、流水线并行等策略。

4. 04

   熟悉中文 / 英文预训练数据处理流程，具备数据去重、清洗、质量评估等实践经验。

5. 05

   具备较强的问题定位与调优能力，能独立排查训练中的收敛异常、显存与性能瓶颈。 工作经验：1-2 年大模型训练或 NLP 算法研发经验 其他： • 有百亿参数以上规模模型完整预训练或对齐训练经验。

• 熟悉 FlashAttention、MoE、量化训练等性能优化技术。

• 参与过开源大模型项目，或在相关领域有顶会论文 / 技术博客产出