大模型压缩与后训练算法工程师

岗位概述

我们做大模型在端侧芯片和板卡上的落地，覆盖量化、编译和推理运行时，模型最终在客户的板子上运行。这个岗位负责让小模型“又小又准”：用蒸馏、量化感知训练（QAT）和剪枝恢复，把模 型压到端侧算力能承受的规模，同时守住精度。

需要能独立跑通“数据 → 训练 → 评测 → 量化上板”的完整闭环。

1. 负责端侧大模型（1B–8B，含多模态 VLM）的压缩训练，包括知识蒸馏（logits 蒸馏、数据蒸馏、推理链蒸馏）、量化感知训练（int4 / int8）和结构化剪枝后的精度恢复。

2. 针对客户场景做领域适配：构造和筛选 SFT 数据（含合成数据），用全参或 LoRA 微调交付定制模型。

3. 搭建和维护评测体系：通用基准加业务评测集，量化前后、压缩前后的精度对比要可复现。

4. 与部署同事协作，把训练产物接入现有量化和推理链路，在板端验证精度和速度；板端精度下降时，定位是训练、量化还是算子实现的问题。

5. 跟踪蒸馏、量化和小模型后训练（如 GRPO）的新方法，判断哪些值得引入，并在团队内分享。

1. 计算机、人工智能、电子或数学等相关专业，硕士及以上；实战经验突出的本科亦可。

2. 2 年以上大模型或深度学习训练经验，至少主导过一个蒸馏、QAT、剪枝或 SFT 项目，并做过完整的精度评测。

3. 熟练使用 PyTorch，理解 Transformer 结构和训练细节（优化器、学习率调度、混合精度、显存优化）。

4. 用过 Hugging Face Transformers，以及 LLaMA-Factory、ms-swift、TRL、DeepSpeed / FSDP 中至少一个训练框架，有多卡训练经验。

5. 了解常见量化方法（GPTQ、AWQ、SmoothQuant 等）的原理和精度损失来源。

6. 有独立排查问题的能力：loss 异常、显存不足、训练结果复现不了，都能自己定位。

加分项

- 有端侧或边缘部署经验，了解 NPU / 嵌入式芯片的算子支持和数据类型限制。

- 做过多模态模型（VLM）的微调或压缩。

- 有 DPO 或 GRPO 等偏好对齐 / 强化学习的实际训练经验。

- 熟悉推理引擎（vLLM、llama.cpp、TensorRT-LLM）或深度学习编译器（TVM 等）。

我们能提供

- 从训练到板端的完整链路：训练的模型会真正跑在客户硬件上，效果可以直接量化。

- 与量化、编译、运行时同事紧密协作，技术方向由这个岗位主导设计。

- GPU 训练资源（具体配置待定）。