AI Infra 平台研发工程师-故障治理

岗位介绍

面向大模型训练与推理，集群资源调度、高性能网络，以及集群与模型的协同设计，是提升算力利用效率和整个 AI 基础设施系统稳定性的关键。

本岗位便是属于集群资源调度方向，重点建设面向 GPU 集群与裸金属基础设施的故障发现和自动化处置系统，打通故障信号、资源状态、任务执行与恢复验证的完整链路。你将负责核心控制器与故障处理工作流的设计和研发，使故障处理过程可追踪、可恢复，为资源调度和训练推理任务的稳定运行提供支撑。

我们希望你具备扎实的数据中心网络基础，理解高性能网络的通信机制与故障特征，能够结合网络拓扑、链路状态以及训练推理任务的运行特点，设计更准确的故障发现、定位与影响评估机制，并推动故障处置与资源调度协同。

1. 设计并运维硬件健康管理系统，实现异常硬件的自动检测、隔离与故障处置，提升集群 MTBI，最大限度减少因故障而无法有效利用的算力资源。

2. 负责故障发现与处理链路研发，打通集群事件、节点状态、自定义资源和资源管理系统。

3. 开发和维护 Kubernetes Operator/Controller，保证并发更新、重复触发、进程重启及外部依赖异常下的状态正确性。

4. 设计故障事件、流程实例及任务状态模型，完善事件去重、关联追踪、重试、超时、补偿和回放能力。

5. 建设 Kubernetes 节点与裸金属故障的统一处理接口，支持不同故障来源和执行系统接入。

6. 改进现有系统的状态管理及模块边界，在保持兼容的前提下逐步完成流程演进。

7. 建设故障链路的监控、测试和发布保障，参与生产故障定位、止损及恢复。

任职要求

1. 本科及以上学历，计算机或相关专业，具备 3 年及以上后端、云原生或分布式系统研发经验。

2. 熟练使用 Go，有 Kubernetes Controller/Operator 的实际开发经验，理解 CRD、调谐循环、并发更新和冲突重试。

3. 理解事件驱动系统的可靠性问题，能够处理重复投递、乱序、消费失败、积压和执行结果不确定等情况。

4. 具备状态机与异步任务系统设计能力，能够说明状态存储、并发控制及失败恢复的具体实现。

5. 熟悉 MySQL、Redis、HTTP/gRPC 等常见基础组件，能定位跨服务调用和状态同步问题。

6. 有生产系统维护和渐进式改造经验，能用测试及运行指标验证改造效果。

加分项

- 熟悉容器运行时（cgroup、namespace 之类的底层逻辑）与容器编排系统（Kubernetes）的实现原理，理解资源隔离、controller-runtime、client-go 等开发工具，或有相关开源贡献。

- 有 Redis Stream、任务编排、工作流或批量执行系统研发经验。

- 熟悉 GPU 故障信号、节点健康检查、BMC 或裸金属自动化管理。

- 有跨系统故障追踪、事件回放、降级恢复或故障演练经验。

- 在大型开源项目中有深度贡献，或者有优秀的个人开源项目，或是出色且资深的 HomeLab 玩家。