模型推理平台实习生

- 参与 自研大模型推理平台的系统研发与架构优化

- 在大规模 GPU 集群环境中优化推理系统的 Throughput、TTFT 和 GPU Utilization

- 设计和实现高效推理架构，例如：

- Prefill / Decode 分离式推理

- Continuous / Dynamic Batching

- 异构推理资源调度

- 构建 分布式 KV Cache 与推理缓存体系，减少重复计算并提升 token generation efficiency

- 优化推理系统的 单位 Token 计算成本（$/Million Tokens） 与集群资源效率

- 计算机、人工智能或相关方向 硕士/博士在读

- 在以下领域具备扎实基础之一：

- 分布式系统

- GPU / 高性能计算

- 大模型训练或推理系统

- 熟练使用 Python / C++ / CUDA / Go 等至少一门语言

- 对 AI Infra / MLSys / LLM Serving 方向有浓厚兴趣

加分项

- 熟悉主流推理框架：

- vLLM

- TensorRT-LLM

- DeepSpeed-Inference

- 有以下经验之一：

- GPU 集群系统开发

- AI 推理服务系统

- Kubernetes 或云原生基础设施

- 在 MLSys / 系统 / AI 顶会（如 OSDI、MLSys、NeurIPS 等）有相关研究成果