大模型推理研发专家

我们是小红书中台大模型 Infra 团队，专注打造领先易用的「AI 大模型全链路基础设施」！团队深耕大模型「数-训-压-推-评」技术闭环，在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势，基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品，持续赋能社区、商业、交易、安全、数平、研效等多个核心业务，实现 AI 技术高效落地！ 工作职责： 推理框架研发： 参与 rLLM 推理框架研发，支撑 LLM、MLLM、DiT 等模型的高性能在线推理。 分布式推理能力建设： 参与 KV Router、PD 分离 / EPD 分离、KV Cache 管理、Prefix Cache 复用、动态请求调度等核心能力建设。 推理性能优化： 围绕 TTFT、TPOT、吞吐、并发能力、GPU 利用率等指标，持续优化推理框架性能和资源效率。 模型压缩算法落地： 探索并落地大语言模型和多模态模型的低比特量化、蒸馏、剪枝、投机解码、KV Cache 压缩、CoT 压缩等技术，在保证业务效果的前提下降低推理成本。 压缩评估与部署闭环： 建设模型压缩评估与部署闭环，平衡精度、延迟、吞吐、显存、成本与业务效果，将压缩算法转化为稳定、可复用、可规模化的生产能力。 系统可靠性建设： 构建推理框架的系统容错能力，包括请求迁移、优雅退出、故障检测、自愈恢复、灰度发布等能力。 异构芯片推理适配： 负责推理引擎在国产异构计算芯片（昇腾 / PPU 等）上的适配与深度优化，完成模型迁移、算子开发、Profiling、Kernel 调优、并行策略与服务架构调优，推动国产算力在推理场景的规模化使用。 多模型与多硬件适配： 支撑 LLM、MLLM、Embedding、Rerank、DiT 等多类型模型在 Nvidia GPU、国产 NPU / PPU 等多种硬件上的推理、压缩和部署落地。 业务协同： 与算法、MaaS、平台和业务团队深度协作，为重点业务进行算法与系统联合优化，支撑业务推理成本下降和性能提升。

任职资格： 具备扎实的代码能力、数据结构和基础算法功底，熟悉 Rust / C++ / Python 中至少一门语言，具备良好的工程实现能力和代码质量意识。 熟悉大模型推理、模型压缩、深度学习框架中的至少一个方向，并具备源码阅读、修改、性能优化或工程落地经验。 熟悉至少一种主流推理或深度学习框架，如 vLLM、SGLang、TensorRT-LLM、Nvidia Dynamo、AIBrix、PyTorch、ONNX、TensorRT 等。 理解大模型推理核心链路，对 KV Cache 管理、PagedAttention、Chunked Prefill、Continuous Batching、PD 分离、请求调度、推理服务稳定性等技术有经验或深入认知。 理解模型压缩常用方法，对量化、蒸馏、剪枝、投机解码、KV Cache 压缩、CoT 压缩等技术有经验或深入认知。 能围绕延迟、吞吐、并发、显存、通信、精度、成本、业务效果等指标进行系统分析，在推理性能、压缩效果和业务收益之间做合理权衡。 具备较强的问题定位和系统优化能力，能够借助 Profiling、日志、监控和实验分析等手段定位复杂系统瓶颈，并推动问题闭环。 具备良好的学习能力、沟通协作能力和自驱力，能与算法、MaaS、平台、业务团队协同推进技术落地。 加分项： 参与过 vLLM、SGLang、TensorRT-LLM、Nvidia Dynamo、AIBrix 等主流推理框架的代码贡献或核心模块开发。 熟悉 CUDA Kernel、Attention / GEMM 算子优化、FlashAttention、PagedAttention 等底层优化技术。 熟悉 NCCL、RDMA、IB、RoCE 等高性能通信机制，有多机多卡推理优化经验。 有 SmoothQuant、AWQ、GPTQ、KV Cache 压缩、投机解码等算法的工程落地经验。 有大规模线上推理服务稳定性建设经验，解决过高并发、故障迁移、弹性扩缩容、SLO 保障等生产问题。 熟悉多模态模型或 DiT 类模型推理链路，有相关部署、压缩和优化经验优先。 有国产异构芯片（昇腾 Ascend、平头哥 PPU）推理适配或 Kernel 开发经验，熟悉 CANN / ROCm 等基础软件栈，有大模型在国产芯片上生产级替换或规模化部署经验者优先。 深入理解 GPU / NPU 硬件架构及性能瓶颈（Tensor Core、内存层级、计算单元、通信拓扑），能结合硬件特性设计差异化推理或压缩优化方案。 有推理或压缩方向论文发表经历，或优秀开源项目贡献经历。