AI推理平台-大模型推理效能与稳定性专家-效能提升

聚焦推理引擎底层与集群稳定性，通过深度分析、压测注入、可观测数据挖掘，主动发现性能瓶颈与隐患，协同研发团队闭环解决，系统性提升推理SLA与资源效能

1. 引擎底层问题挖掘与根因分析

深入vLLM、SGLang、TensorRT-LLM等推理引擎源码，通过Profile、Trace、日志分析等手段，主动识别算子调度、显存分配、KV Cache管理、通信同步等底层性能缺陷与逻辑异常。

对线上偶发超时、吞吐抖动、显存泄漏等问题进行深度根因定位，输出清晰的问题复现路径与修复建议。

2. 推理集群稳定性治理

构建混沌工程与故障注入体系，系统性验证服务在节点故障、网络分区、负载突增等场景下的容灾与自愈能力，提前暴露架构脆弱点。

主导线上故障应急排查与复盘，推动建立稳定性防护网（限流、降级、重试风暴防护等）。

3. 可观测性与效能分析体系建设

参与全链路可观测性平台（Metrics/Tracing/Logging）的建设，如提炼TTFT、TPOT、并发上限、GPU利用率等关键效能与稳定性指标，建立异常检测与智能告警规则等

通过数据分析发现容量冗余、调度不均衡、资源碎片等成本效能问题，推动调度策略优化。

4. 性能瓶颈攻坚与协同优化

主导端到端压测与长稳测试，定位并发增长下的性能拐点，联合研发制定优化方案（如PD分离、Prefix Caching、Speculative Decoding工程化适配）。

作为效能问题的技术人员，推动研发团队优先级排期与问题闭环，跟踪优化效果并量化收益。

1. 本科及以上，计算机相关专业

2. 具有5年以上系统性能分析、稳定性保障或分布式系统疑难问题排查经验。

3. 深度掌握vLLM、SGLang、TensorRT-LLM任一引擎的内部架构（调度器、显存管理、KV Cache策略），能通过源码级别分析定位性能异常。

4. 精通Linux性能工具（perf、py-spy、NVIDIA Nsight、nvprof）及分布式追踪（Jaeger、OpenTelemetry），具备从CPU/GPU/网络/存储全栈定位瓶颈的能力。

5. 精通Python/Go至少一种，能编写复杂分析脚本、压测工具或可观测性算子，不依赖现成工具完成深度诊断。

6. 熟悉GPU集群调度（Kubernetes）与高可用架构，有大规模在线推理服务稳定性治理实战经验。