微信WeLM-大语言模型推理优化

WeLM 模型在模型结构上的创新，诸如Hidden Decoding/NGram Embedding等，对模型推理加速部分有算法创新上的要求。特别是在RL场景中，LowBatch推理降低推理Latency也制约了团队训练迭代的速度。WeLM推理会使用诸如整个模型单MegaKernel推理，MTP算法的创新性工作来加速推理场景。

1. 01

   有推理框架开发经验，熟悉LLM推理的基本技巧与并行方式；

2. 02

   推理场景于高性能算子开发， 熟悉Hopper显卡的微架构；

3. 03

   了解RDMA/NCCL GIN/NVSHMEM等通信算子开发；

4. 04

   沟通协作能力强，有自驱力好奇心。