大模型推理后台链路工程师（语音方向）（北京/深圳/上海）

推理后台链路建设：负责语音大模型推理后台链路的整体设计与实现，覆盖接入层、调度层、推理层、流式返回、落盘与全链路监控；

流式语音服务架构：构建实时语音对话（语音进—语音出）的流式推理服务，优化首字延迟（TTFB）、端到端延迟与实时率（RTF），保障交互流畅性；

推理引擎与 GPU 优化：负责 GPU 推理引擎优化，包括算子优化、量化（INT8/FP8）、KV Cache 管理、投机解码、Continuous Batching、显存与吞吐优化，提升单卡推理效率与性价比；

分布式推理与弹性调度：建设多机多卡推理能力（张量并行 / 流水线并行）、多模型编排、弹性扩缩容、负载均衡与故障自愈机制；

稳定性与工程化：建设高可用架构、灰度发布、全链路监控告警、压测与容量规划，保障推理服务的稳定性与可观测性；

前沿技术落地：跟进语音大模型与推理框架的前沿进展，推动新技术在业务中的落地。

本科及以上学历，计算机、软件工程、电子信息等相关专业； 2.2年以上后端 / 基础架构 / 在线服务开发经验，有大规模高并发在线服务建设经验；

精通 C++ / Go / Python至少一门语言，具备扎实的 Linux 系统、网络编程与并发编程功底；

熟悉主流深度学习推理框架（TensorRT、vLLM、Triton Inference Server、ONNX Runtime等至少一种），有实际推理服务优化落地经验；

熟悉CUDA 编程与 GPU 算子优化，理解显存、带宽、算子调度等底层机制；

熟悉分布式系统与容器化技术（Kubernetes、微服务治理、RPC 框架）。 加分项

有语音（ASR / TTS / 语音合成）或语音大模型 / 多模态模型工程落地经验；

熟悉流式传输协议（WebSocket、RTC / WebRTC）与音视频编解码链路；

深入掌握 KV Cache、投机解码、量化、Continuous Batching 等大模型推理加速技术；

有开源大模型推理框架（vLLM、SGLang、TensorRT-LLM 等）二次开发或社区贡献经验；

熟悉语音服务关键指标（实时率 RTF、首字延迟、音质 / 一致性）的优化方法。