大模型MaaS推理资源调度系统工程师/专家

我们正在建设面向万亿级 Token/日、万卡级异构 GPU 集群的 MaaS 调度系统，目标打造行业领先的大模型推理调度能力。你将负责核心调度系统建设，支撑多类大模型推理负载，通过在线离线混部、弹性调度和异构算力调度，在保障 SLA 的同时提升算力利用率、降低单位 Token 成本，让超大规模 MaaS 推理服务更稳、更快、更省。 工作职责

1. 01

   万亿级 Token/日吞吐优化：围绕 QPS、RPM/TPM、并发、Token 吞吐、TTFT、TPOT延迟等指标，优化推理服务整体吞吐和资源效率。

2. 02

   在线推理与离线批推混部：在保障在线推理 SLA 的前提下，将批量推理、模型评测、数据生成、异步任务、低优先级推理等离线/准离线负载调度到闲置 GPU 资源中运行，提升集群整体利用率。

3. 03

   弹性调度与成本优化：建设基于流量预测、队列状态、GPU 利用率/SMA、显存、KV Cache、模型热度等指标的弹性伸缩能力，实现容量预热、快速扩缩容、资源回收和成本归因。

4. 04

   大规模异构算力调度：面向万卡级异构 GPU 集群，建设跨集群、跨机型、跨芯片架构、跨模型的统一调度系统，解决资源分配、模型副本放置、容量池治理、热点迁移、故障迁移和资源碎片治理问题。

1. 01

   有分布式系统、云原生、资源调度或高性能服务治理经验。

2. 02

   熟悉 Kubernetes 调度体系、弹性伸缩、服务发现、流量治理等技术。

3. 03

   理解大模型推理链路，熟悉 GPU、显存、KV Cache、batching、Token 吞吐、TTFT/TPOT 等概念。

4. 04

   有 GPU 集群、MaaS 平台、模型服务平台或推理系统经验优先。

5. 05

   具备强指标意识，能够围绕 SLA、GPU 利用率/SMA、吞吐、延迟和成本持续优化系统。 加分项

6. 01

   熟悉 AIBrix、llm-d、vLLM、SGLang、KServe、Ray Serve 等推理框架或服务化体系。

7. 02

   有在线离线混部、弹性调度、算力资源池化、异构算力调度相关经验。

8. 03

   有大规模 GPU 集群、万亿级 Token 推理服务或商业化 MaaS 平台建设经验。

9. 04

   有提升 GPU 利用率、SMA、推理吞吐或降低单位 Token 成本的实际案例。

10. 05

    熟悉多租户资源隔离、优先级调度、抢占、配额、成本归因和容量治理。