大模型推理引擎研发工程师（练习生）

工作职责

1. 01

   参与/负责研发面向大语言模型(LLM)/多模态大模型(MLLM)等类型模型的推理服务框架；

2. 02

   通过并行计算优化、分布式架构优化、异构调度等多种框架技术，打造高效、易用、领先的AI推理框架；

3. 02

   深度参与周边深度学习系统多个子方向的工作，包括但不限于模型管理、推理部署、日志/监控、工作流编排等；

4. 03

   与全公司各业务算法部门深度合作，为重点项目进行算法与系统的联合优化，支撑业务目标达成。

任职资格

1. 01

   优秀的代码能力、数据结构和基础算法功底，熟悉C++/Python开发，熟悉 Linux/Git 开发环境；

2. 02

   熟悉至少一种主流基础深度学习训练或推理框架（TensorFlow/PyTorch/PaddlePaddle/TensorRT等）的使用和实现；

3. 03

   熟悉主流LLM模型结构，熟悉至少一种主流LLM推理框架（vLLM/SGLang/TensorRT-LLM等）的使用和实现；

4. 04

   熟悉GPU硬件架构，了解GPU 软件栈（CUDA，cuDNN)，具备 GPU 性能分析的能力；

5. 05

   有强烈的工作责任心，较好的学习能力、沟通协作能力和自驱力，能和团队一起探索新技术，推进技术进步。

加分项

1. 01

   熟悉CUDA编程，有TensorRT或其它AI加速库、高性能算子开发经验者优先；

2. 02

   熟悉至少一种AI编译加速组件者优先，包含但不限与TorchInductor/TVM/Triton/XLA等；

3. 03

   了解并行计算、网络通信、系统优化和集群硬件架构等相关知识者优先；

4. 04

   熟悉NCCL/RDMA/IB/RoCE相关知识者优先；

5. 05

   有优秀开源项目经历者优先。