训推平台及引擎工程师

工作地点：北京 推理优化方向：

1. 01

   负责模型推理性能调优：chunked prefill、continuous batching、KV cache压缩

2. 02

   开展模型量化实验（INT4 QAT/GPTQ/AWQ），验证精度与性能平衡

3. 03

   维护推理服务基准测试套件，持续跟踪TTFT/TPS/并发指标

4. 04

   主导多模型（Kimi、Deepseek、Qwen、GLM、Minimax）的部署与适配

5. 05

   编写推理优化技术文档与最佳实践 模型评测方向：

1. 01

   建立模型评测框架：覆盖编码（SWE-bench/LiveCodeBench）、长文本（MRCR/LongBench）、通用能力

2. 02

   跟踪国内外主流模型动态，定期输出模型选型建议

3. 03

   执行模型对比实验：推理性能、精度、成本的综合评估

4. 04

   维护模型部署兼容性矩阵（SGLang/vLLM × 各模型 × 各GPU）

5. 05

   撰写模型评估报告供管理层决策参考 模型研发方向：

6. 01

   负责AI模型的部署、模型服务运维、稳定性保障，模型参数调优

7. 02

   大模型推理、CV模型推理相关配套中间件介入

8. 03

   协助模型算法工程师解决模型在服务环境中的问题

9. 04

   监控模型服务运行情况及及评估优化结果