【2027】推理框架与部署适配/算子/编译/通信优化(J14398)

岗位职责

1. 01

   参与 vLLM、SGLang、Transformers 等主流推理框架的版本升级、插件适配和镜像交付。

2. 02

   支持模型上线、部署调参、压测验证和问题定位。

3. 03

   分析 TTFT、TPOT、吞吐、显存占用和稳定性等推理性能瓶颈。

4. 04

   参与 KV Cache、batching、并发调度、模型加载等关键链路优化。

5. 05

   沉淀模型部署最佳实践、适配文档和问题解决方案。

任职资格

1. 01

   计算机、人工智能、软件工程等相关专业，硕士优先。

2. 02

   熟悉 C/C++ 或 Python，了解 PyTorch 或 Transformers 基础使用。

3. 03

   熟悉 Linux、Docker，了解 Kubernetes 或容器化部署优先。

4. 04

   理解主流大模型结构、推理流程、显存占用和 batch 机制。

5. 05

   了解 CUDA、GPU 编程、并行计算或高性能计算基础。

6. 06

   理解矩阵计算、Attention、MoE、量化等大模型核心计算模式。

加分项

1. 01

   使用过 vLLM、SGLang、TensorRT-LLM、TGI 等推理框架。

2. 02

   了解 CUDA 基础、GPU 性能分析或分布式推理。

3. 05

   有模型部署、模型压测、RAG/Agent 应用或开源贡献经验。

4. 06

   有 CUDA、Triton、TVM、MLIR、NCCL、CUTLASS 等实践经验。

5. 07

   参加过 HPC、编译器、并行计算、深度学习系统相关项目。