腾讯云大数据—面向多模态数据处理的实进智能计算引擎关键技术研究

课题背景： 随着AI与大数据的深度融合，企业数据形态已从传统的结构化数据扩展至文本、图像、视频等多模态数据，对实时数据处理引擎提出了全新挑战。为此，我们计划在Oceanus平台上构建面向多模态数据处理的新一代计算引擎，融合流批一体架构与向量化执行能力，原生支持半结构化数据、文本、图像、视频等多模态数据的统一处理。同时，引擎上层集成Flink Agents框架，实现对实时数据流的智能化处理，支持Agent的在线推理与强化学习训练。此外，引擎将强化Python生态支持，用户可交互式使用Python进行数据探索与分析，并将交互式任务无缝转化为长驻的生产级流批作业，打通从数据探索到生产部署的全链路。 课题挑战：

1. 01

   多模态数据处理与SQL执行的统一架构设计：如何在传统结构化SQL执行框架中，原生融合文本、图像、视频等多模态数据的处理能力，设计统一的数据模型、类型系统与执行计划，使用户能够用一套查询语言同时处理结构化与非结构化数据；

2. 02

   多模态算子的设计与高效实现：如何设计面向多模态数据的算子体系，包括特征提取、编解码、Embedding计算、相似度检索等，并在流批一体引擎中实现高效调度与执行；

3. 03

   GPU与国产加速卡的异构计算支持：如何实现GPU/国产加速卡的高效调度与CUDA算子优化，充分利用异构计算资源加速多模态数据处理与模型推理，同时兼容不同硬件平台；

4. 04

   基于Flink Agents的实时智能体框架优化：如何基于Flink Agents开源项目构建高效的Agent执行框架，实现Agent与流式数据处理的深度集成，支持复杂的多步推理、工具调用与实时决策；

5. 05

   小模型的在线训练与推理能力建设：如何在流式计算引擎中实现小模型的Online RL训练与实时推理，设计高效的训练数据采集、模型更新与在线服务机制，使模型能够随数据流持续学习与演进；

6. 06

   Python交互式计算与任务生产化：如何强化引擎的Python支持能力，使用户可通过交互式Python环境进行数据探索与分析，并将交互式代码无缝转化为长驻的流批生产任务，实现开发与部署的一体化。 具体工作： 你将参与面向多模态数据处理的新一代流批一体智能计算引擎的核心研发，主要涉及以下方向：多模态数据处理与传统SQL执行的统一架构设计与实现；多模态算子（特征提取、编解码、Embedding等）的开发与优化；GPU/国产加速卡的异构计算调度与CUDA算子性能优化；基于Flink Agents的实时智能体框架开发与优化；小模型在线训练（Online RL）与实时推理能力的引擎集成；Python交互式计算环境与长驻任务转化机制的设计与实现。

1. 01

   计算机科学、软件工程、人工智能、数据科学等相关专业硕士及以上学历；

2. 02

   扎实的C++编程能力，熟悉现代C++特性，有高性能系统或计算引擎开发经验；

3. 03

   熟悉CUDA编程或GPU异构计算开发，有CUDA算子优化经验者优先；

4. 04

   熟悉大数据处理框架（如Flink、Spark）的原理与实现，有流式计算开发经验者优先；

5. 05

   有Agent系统开发经验，熟悉LLM推理、工具调用、强化学习（RL）等相关技术者优先；

6. 06

   有模型训练与推理系统开发经验，熟悉PyTorch等深度学习框架，了解在线学习与模型服务架构者优先；

7. 07

   熟悉Python，有Python与C++混合编程经验者优先；

8. 08

   具备较强的问题分析、系统设计与工程实现能力，有良好的团队协作和沟通能力；有开源项目贡献经验者优先。