混元-大规模音视频理解 Dataset 建设

课题背景： 具备精细时间戳与深层语义逻辑标注的高质量音视频对齐数据目前极度匮乏，这直接导致了现有多模态模型对音频事件与视频行为的时空关联理解能力依然薄弱。 课题挑战：

1. 01

   非标数据自动化处理：针对互联网海量非标音视频原生数据，探索并实现高效的自动化清洗与精准的时空对齐算法工程难度极高。

2. 02

   垂直领域数据配比：在千万级规模下，量化并探索体育赛事、教学演示等不同垂直领域的数据配比对模型通用跨模态理解能力的边际收益与互相影响。 具体工作： 构建千万级规模音-视-文三元组对齐数据集；研发非标数据的高效清洗与时空对齐算法；探索并输出各垂直领域的最佳预训练数据配比。

1. 01

   计算机/软件工程等相关专业硕士以上学历，拥有博士学位者优先；

2. 02

   熟悉计算机视觉、多模态领域的相关研究工作和算法，以第一作者身份发表顶会论文、顶级研究机构或一线互联网工作经验加分；

3. 03

   熟练使用Python、PyTorch和CUDA等语言及工具，具备快速阅读和复现论文的能力；

4. 04

   具备优秀的分析和解决问题能力，良好的团队合作精神及沟通意识。