TPU大模型推理负责人

• 负责 TPU 推理技术方案与演进路线，评估推理框架、模型支持范围、并行策略和资源配置，推动主力模型在 TPU 上落地。
• 建立面向真实业务的性能评估体系，围绕模型质量、TTFT、TPOT、尾延迟、有效吞吐及单位 Token 成本制定优化目标。
• 深入分析 TPU 推理执行过程，定位编译、算子、HBM、KV-Cache、请求调度及跨设备通信瓶颈，推动框架与关键执行路径优化。
• 负责大模型及的分布式推理方案，优化模型分片、并行策略、通信与计算重叠，以及模型副本的部署规模。
• 与平台和 SRE 团队协作，完善模型加载、编译预热、发布回滚、故障恢复及性能回归机制，保障生产服务稳定性。
• 建立团队的技术规范和知识体系，指导工程师成长；与 Google 技术团队及开源社区协作，推动问题修复和优化成果进入上游

• 具备大模型推理系统研发与性能优化经验，曾独立负责关键模块或技术方向，能够推动复杂问题从定位到生产验证闭环。
• 具备 TPU 环境下模型部署和性能优化的实际经验，熟悉 JAX/XLA 的编译与执行机制、张量分片、设备通信及常见性能问题。
• 深入理解 Transformer、Attention、KV-Cache、Prefill/Decode 和 MoE 等机制，理解批处理、并发、显存占用与服务延迟之间的关系。
• 熟悉至少一种主流推理引擎（vLLM、SGLang）或 TPU 推理实现，具备阅读、调试和修改核心代码的能力。
• 具备扎实的性能分析能力，能够结合 Profiler、运行日志和可复现实验，区分计算、内存、通信、编译及调度瓶颈。
• 具备良好的工程判断和协作能力，能够在性能收益、模型质量、交付时间及维护成本之间作出取舍，并指导团队实施。

加分项

• 有 vLLM TPU、SGLang-JAX、JAX  或相关项目的开源贡献。
• 有 Pallas、自定义算子、Attention/MoE Kernel 或编译优化经验。
• 有大规模在线推理、跨主机模型并行、量化、投机解码或 Prefill/Decode 分离的实践。
• 有 GPU 与 TPU 迁移、性能对比及生产成本优化经验