多模态大模型数据质量框架构建与优化

【课题背景】 高质量数据是大模型展现涌现能力与价值对齐的基石（即“Garbage in, garbage out”）。当前数据处理高度依赖人工配置，效率低下。随着参数红利减弱，数据质量成为突破性能瓶颈的核心。本课题旨在构建基于 Agent 的智能化数据质量评估与治理框架，通过大模型自身的规划能力实现数据清洗、合成的端到端自动化，打造“评测牵引-数据优化”的无缝闭环，以高质量数据飞轮反哺模型迭代。

【课题内容】

1. 01

   构建多维度数据质量评估体系：定义并量化数据质量标准，覆盖纯净度、语义多样性、逻辑复杂性及安全性（去毒/去偏），并针对多模态（图文/音视频）及垂直领域（代码/数学）制定差异化评估策略。

2. 02

   研发基于 Agent 的自动化数据治理架构：构建数据智能体，根据模型训练需求自动编排数据流水线，智能调度启发式规则、轻量级模型打分及大模型（LLM）数据重写与合成等核心算子。

3. 03

   数据处理算子的大模型化抽象：将传统的数据清洗与增强规则整合、抽象为统一的“数据处理大模型”，大幅提升算子在复杂多模态任务中的泛化能力与长尾 Bad Case 处理上限。

4. 04

   构建“评测-数据-模型”协同进化闭环：打通评测智能体与数据智能体的交互链路，使评测发现的模型短板能自动触发数据 Agent 进行针对性的低质数据裁剪、高质量数据合成与版本演进，实现数据飞轮的自动化运转。

1. 01

   具备扎实的 NLP/多模态领域算法基础，深刻理解大模型（LLM/VLM）的基本原理与演进趋势，对 Data-Centric AI（以数据为中心的AI） 理念、数据质量评估标准以及高质量预训练/对齐（SFT/RLHF）数据构建有深入研究；

2. 02

   熟练掌握海量数据清洗、去重、过滤等核心技术，有基于大模型的数据合成与重写（Data Synthesis/Rewriting）实战经验；熟悉并实践过 Agent 核心技术（如 Tool-use、复杂 Pipeline 编排），了解如何利用 Reward Model 或 LLM-as-a-Judge 进行数据质量打分与动态筛选者优先；

3. 03

   熟练掌握 PyTorch 等主流深度学习框架，熟悉分布式数据处理框架（如 Spark、Ray 等）以及主流 Agent 开发框架（如 LangChain、AutoGen 等），代码熟练，具备优秀的端到端自动化数据流水线工程化落地能力；

4. 04

   在 ACL、ICLR、NeurIPS、KDD 等顶会发表过高质量论文（尤其是 Data-Centric AI、数据合成、大模型对齐、Agent 架构等相关方向），或在相关知名开源数据处理项目（如 Data-Juicer 等）、高质量开源数据集发布中做出过重要贡献。