视频多模态训练数据引擎设计与优化

视频作为多模态载体，融合画面、音频、文本及时序标签，单样本达百MB级，千亿规模对存储吞吐与算力调度提出极致挑战。预训练中，数据需切分为海量短时序片段（Clip），须兼顾多模态对齐与多维检索；同时清洗迭代频繁，涉及负样本剔除与标注修正。但现有架构短板明显：传统存储无法感知视频内部结构，批量读片引发无效IO；缺乏原生局部更新能力，属性微调常致GB级文件整体覆写，刷库低效。加之解码、Tokenize等多阶段算子流水线与CPU/GPU/NPU异构资源适配困难，调度僵化易致IO阻塞与算力空转。为此，我们拟构建专用数据引擎，突破细粒度随机读写与毫秒级局部更新技术，通过存算协同智能调度，打通数据筛选、增量更新与训练消费链路，显著提升迭代效率与资源利用率。

1. 01

   计算机硕士以上学历，具备扎实的系统功底与高性能复杂架构设计能力；

2. 02

   精通C++/Java/Go等系统语言，有分布式存储、数据库内核或视频编解码（H.264/265）开发经验；

3. 03

   熟悉Spark/Flink等分布式框架，掌握CUDA异构编程及零拷贝、PMEM等底层优化技术；

4. 04

   熟悉多模态训练流程，具备大规模Data Pipeline或AI Infra（数据加载/特征存储）研发经验；

5. 05

   有系统/AI顶会论文、知名开源项目贡献或海量视频平台架构经验者优先。