代码生成-基座预训练算法工程师

【团队介绍】 我们是金融多模态基座模型预训练团队，负责千亿级参数量 MoE 基座模型的持续预训练（CPT）。面向真实金融市场场景，我们将行情时序、公告研报、财务表格、图表与新闻等异构数据统一进入基座模型的表示空间，让模型在通用能力之上具备对金融世界的原生理解能力。 团队覆盖数据配比、模态表征、训练策略与能力评估的完整链路，强调"每一次配比与结构改动都要有可归因的能力增益"，以可复现、可对比、可持续迭代为标准，构建支撑金融智能体基座模型长期演进的预训练基础。

【岗位方向】 Multimodal Continual Pre-training × Modality Alignment：面向千亿级 MoE 基座模型，建设多模态持续预训练体系，覆盖模态表征设计、时序 tokenization、数据配比与课程学习、训练稳定性与能力评估。

【工作内容】

1. 01

   负责金融多模态基座模型的持续预训练方案设计与落地，包括数据配比、课程学习、学习率与批次策略，持续提升基座模型在金融垂类上的能力上限。

2. 02

   负责时序 / 文本 / 表格 / 图表等多模态的表征设计与模态对齐，包括时序 tokenizer（如 BSQ 等离散化方案）、跨模态对齐目标与联合训练目标的设计与验证。

3. 03

   负责预训练数据链路建设，包括语料清洗、去重、质量分层、领域配比与数据污染防护，保障训练数据的高质量与可追溯。

4. 04

   负责训练过程的稳定性保障与问题定位，包括 loss 尖刺、梯度异常、专家负载不均衡等问题的分析与治理，与训练 Infra 团队协同优化训练效率。

5. 05

   负责基座能力的评估与归因，设计可信的对照实验与消融实验，从中间 checkpoint 的能力曲线中定位短板并驱动下一轮迭代。

【职位要求】

1. 01

   硕士及以上学历，计算机、人工智能、数学、统计学等相关专业优先。

2. 02

   熟悉 Transformer / MoE 结构原理，理解大规模预训练全流程，具备完整参与过一次以上百卡级别训练任务的经验。

3. 03

   具备时序建模或跨模态对齐经验，熟悉对比学习、离散化表征、多模态融合等常见技术路线。

4. 04

   具备扎实的 Python 与 PyTorch 编程能力，熟悉 Megatron-LM、DeepSpeed 等分布式训练框架的原理与使用。

5. 05

   具备优秀的实验设计与问题分析能力，能够在高成本训练场景下用小规模实验做出可外推的判断。

6. 06

   具备良好的沟通与协作能力，能够与数据、评测、Infra 团队完成需求对齐与联合交付。

【加分项】

1. 01

   有千亿级参数量模型预训练或持续预训练的实战经验者优先。

2. 02

   对金融时序数据、行情与基本面数据有深入理解与处理经验者优先。

3. 03

   有 Scaling Law 实验设计、数据配比搜索或课程学习相关实践经验者优先。

4. 04

   在 ICML、ICLR、NeurIPS、ACL 等顶级会议发表过相关成果，或主导、参与过有影响力的开源基座模型项目者优先。