模型推理平台实习生

• 参与 自研大模型推理平台的系统研发与架构优化 - 在大规模 GPU 集群环境中优化推理系统的 Throughput、TTFT 和 GPU Utilization - 设计和实现高效推理架构，例如： - Prefill / Decode 分离式推理 - Continuous / Dynamic Batching - 异构推理资源调度 - 构建 分布式 KV Cache 与推理缓存体系，减少重复计算并提升 token generation efficiency - 优化推理系统的 单位 Token 计算成本（$/Million Tokens） 与集群资源效率

• 计算机、人工智能或相关方向 硕士/博士在读 - 在以下领域具备扎实基础之一： - 分布式系统 - GPU / 高性能计算 - 大模型训练或推理系统 - 熟练使用 Python / C++ / CUDA / Go 等至少一门语言 - 对 AI Infra / MLSys / LLM Serving 方向有浓厚兴趣 加分项 - 熟悉主流推理框架： - vLLM - TensorRT-LLM - DeepSpeed-Inference - 有以下经验之一： - GPU 集群系统开发 - AI 推理服务系统 - Kubernetes 或云原生基础设施 - 在 MLSys / 系统 / AI 顶会（如 OSDI、MLSys、NeurIPS 等）有相关研究成果

招聘部门：AI基础架构部

招聘人数：1

岗位类别：软件序列

工作地点：北京市