训推平台与引擎工程师

推理优化方向

1. 01

   负责模型推理性能调优：chunked prefill、continuous batching、KV cache压缩

2. 02

   开展模型量化实验（INT4 QAT/GPTQ/AWQ），验证精度与性能平衡

3. 03

   维护推理服务基准测试套件，持续跟踪TTFT/TPS/并发指标

4. 04

   主导多模型（Kimi、Deepseek、Qwen、GLM、Minimax）的部署与适配

5. 05

   编写推理优化技术文档与最佳实践 模型评测方向：

6. 01

   建立模型评测框架：覆盖编码（SWE-bench/LiveCodeBench）、长文本（MRCR/LongBench）、通用能力

7. 02

   跟踪国内外主流模型动态，定期输出模型选型建议

8. 03

   执行模型对比实验：推理性能、精度、成本的综合评估

9. 04

   维护模型部署兼容性矩阵（SGLang/vLLM × 各模型 × 各GPU）

10. 05

    撰写模型评估报告供管理层决策参考 模型研发方向：

11. 01

    负责AI模型的部署、模型服务运维、稳定性保障，模型参数调优

12. 02

    大模型推理、CV模型推理相关配套中间件介入

13. 03

    协助模型算法工程师解决模型在服务环境中的问题

14. 04

    监控模型服务运行情况及及评估优化结果

1. 01

   3年以上模型推理或高性能计算经验

2. 02

   熟练使用vLLM/SGLang，了解CUDA kernel调优

3. 03

   掌握模型量化技术（INT4/INT8/FP8），有QAT经验优先

4. 04

   熟悉Linux性能分析工具（perf, nsight, nvidia-smi）

5. 05

   Python/C++编程能力扎实