哔哩哔哩集团
AI Infra模型研发实习生(推理优化方向)
RESPONSIBILITIES
岗位职责
推理加速与工程化 (Inference Infra) 高性能引擎: 负责基于 vLLM、TensorRT-LLM、SGLang、Triton Inference Server 等推理框架的开发与优化,提升大模型在线服务的吞吐、时延和资源利用率。 算子优化: 参与 Transformer 核心算子的开发与性能优化,包括 Attention、KV Cache、量化推理、算子融合等方向,探索 CUDA/Triton 等高性能实现方案。 推理架构: 参与构建面向大规模生产环境的推理服务体系,支持高并发、低延迟和高可用的模型服务部署与运维
REQUIREMENTS
任职要求
面向海内外本硕博在校生
技术底色: 计算机相关专业,具有较强的系统编程能力,精通 Python 和 C/C++。
计算底层: 熟悉 NVIDIA GPU 架构 (Hopper/Ampere/Blackwall),理解显存层次结构、流处理器(SM)工作原理。
框架经验: 熟悉 PyTorch 等深度学习框架,具有训练或推理性能优化经验者优先;阅读过 Megatron、DeepSpeed、vLLM、TensorRT-LLM 等开源项目源码者优先。
并行与分布式计算: 理解并行计算与分布式系统基本原理,了解数据并行(DP)、张量并行(TP)、流水线并行(PP)等常见大模型训练技术,有相关项目经验者优先。
网络与硬件:了解 InfiniBand、RoCE 等高速网络技术,以及 NVLink、NVSwitch 等 AI 集群互联架构
信息来自企业官方招聘渠道
OfferSeek 对公开岗位信息进行聚合、去重和结构化整理,最终申请以企业官方页面为准。
