深圳虾皮信息科技有限公司
文件存储资深技术专家(AI基础设施方向)
岗位职责
主导分布式文件存储系统的整体架构设计与演进,制定技术路线、模块边界和关键接口,明确阶段目标及验收标准,推动架构决策落地。
主导元数据架构设计,解决命名空间分片、目录扩展、跨分片操作、热点治理和在线迁移等问题,提升大规模文件与高并发访问场景下的扩展能力。
定义文件系统语义与一致性边界,设计缓存一致性、锁与租约、分布式事务、持久化及故障恢复机制,保障正常、故障和恢复过程中的数据正确性。
主导客户端与数据服务架构,优化数据布局、并行I/O、缓存及网络通信机制,结合软硬件能力提升吞吐、IOPS和尾延迟表现。
面向AI工作负载制定优化方案,覆盖训练数据加载、模型分发、Checkpoint写入与恢复,推动存储与GPU、网络和计算调度的协同优化。
建设可靠性和可运维性体系,规划故障域、数据保护、自动修复、重平衡、在线升级与回滚机制,推动故障演练和生产问题治理。
建立容量与性能模型、评测基线和系统级验证方法,识别扩展瓶颈,评估技术选型与资源成本,指导规模化部署。
负责关键方案评审、核心代码开发与技术攻关,培养核心模块负责人,提升团队在系统设计、工程交付和复杂问题分析方面的能力
任职要求
本科及以上学历,计算机相关专业;八年以上存储或分布式系统研发经验,其中五年以上文件系统或分布式文件存储研发经验。
有主导分布式或并行文件存储系统架构设计、重大架构演进或关键子系统建设的经历,相关方案已在生产环境落地。
深入理解文件存储的端到端架构,能够清晰分析元数据、客户端、数据布局、一致性、故障恢复和扩展性之间的相互约束;在其中至少两个方向有深入研发与技术决策经验。
深入掌握POSIX文件语义、缓存一致性、分布式锁与租约、持久化和恢复机制,能够针对网络分区、节点故障及并发操作设计正确性保障方案。
精通C/C++及Linux系统编程,具备持续参与核心代码开发的能力,能够带领团队解决复杂的并发、性能和数据一致性问题。
熟悉高性能网络与存储I/O栈,有跨客户端、网络和服务端的性能优化经验,能够基于负载特征评估RDMA、异步I/O、零拷贝及硬件卸载等方案。
有大规模生产系统的性能分析、故障治理和架构演进经验,能够建立容量与性能模型,并以测试和生产数据验证设计取舍。
具备技术规划和跨团队协作能力,能够拆解复杂目标、确定优先级、识别交付风险,并推动团队形成可维护、可验证的工程实现。 加分项
有从零到一建设文件存储系统,或推动系统跨越容量、客户端数量、元数据规模及吞吐瓶颈的经历。
对Lustre、BeeGFS、IBM Spectrum Scale/GPFS、CephFS、DAOS或同类系统有深入研究、研发或架构实践经验。
有GPUDirect Storage、训练I/O、模型加载或大规模Checkpoint系统设计经验。
有RDMA、NVMe、DPU、ARM64或其他存储软硬件协同设计经验。
有资源隔离、权限控制、配额、QoS,以及容器或虚拟化环境存储接入的系统设计经验。
有开源项目核心贡献、相关技术论文,或带领核心研发团队完成长期技术演进的经历
信息来自企业官方招聘渠道
OfferSeek 对公开岗位信息进行聚合、去重和结构化整理,最终申请以企业官方页面为准。
