腾讯云—TurboCFS高性能存储项目

课题背景： 近年来，人工智能AI技术飞速发展，特别是在大语言模型和自动驾驶这两种场景。模型参数、集群规模以及数据量呈指数级增长，对人工智能依赖的底层存储系统提出了极大的挑战和要求。为了提供更好的一致性、兼容性和性能，文件存储作为AI存储首选基座，其涵盖了训练和推理的全生命周期，包括数据采集、预处理、训练、保存、分发和归档等全流程阶段。不同的业务场景和不同的业务阶段对文件存储提出了不一样的挑战和要求，包括TB级/s的读写带宽能力、百PB级别的单集群存储能力、千万级的元数据OPS能力、百亿级的文件数量管理能力等等。 课题挑战： 大模型训练、推理以及自动驾驶场景下的高性能文件存储项目集体的挑战分为如下几个方面：

1. 01

   通过极致优化和无限扩展能力，提供极高带宽吞吐，满足单集群TB/s到数十TB/s读写带宽能力。

2. 02

   通过全链路的微秒级优化设计，提供极低延迟（数十微秒级别）的数据访问能力。

3. 03

   加强元数据管理能力，提供海量（百亿级别）文件场景下的极高性能（千万OPS）元数据访问能力。

4. 04

   满足十万级卡集群的高并发访问模式，确保超大规模集群的训练长期稳定运行。

5. 05

   提供高并发访问场景的强一致性能力，以及秒级的HA恢复能力。

6. 06

   提供丰富的接口和生态能力，支持同一底座多种接口的访问能力，如POSIX、S3、NFS、SAMBA和HDFS。 具体工作： 深度参与业界领先的自研AI存储基座，并完成课题的核心挑战，包括TB级/s的读写带宽能力、百PB级别的单集群存储能力、数十微秒级别的数据访问延迟能力、千万级的元数据OPS能力、百亿级的文件数量管理能力等等。

1. 01

   计算机、信息工程、软件工程等专业的博士和优秀硕士；

2. 02

   熟练掌握计算机操作系统和计算机网络，熟悉ext4/xfs等至少一个文件系统和tcp/ip协议；

3. 03

   较强的工程实现能力，熟练掌握 C/C++ 编程，熟悉 Shell/Python/Go至少一种编程语言。