腾讯云大数据—流湖一体统一增量计算引擎关键技术研究

课题背景： Oceanus是腾讯云企业级实时大数据分析平台，当前大数据在实时数据处理场景下普遍采用Lambda架构，存在存储冗余、计算成本高、开发维护复杂（流批两套代码逻辑）等痛点。为此，我们自研了Setats统一流湖存储引擎，以"统一存储+灵活计算"为核心理念，用一套存储替代多套系统，支持流（秒级）、增量（分钟级）、批（小时级）三种执行模式灵活切换，从而实现存储/计算降本与开发效率的提升。 课题挑战：

1. 01

   统一存储引擎的高效数据更新与多模式访问：如何在远程存储上实现秒级数据合并与变更捕获，同时高效支持流读写、批读写、点查等多种访问模式的统一处理；

2. 02

   存算分离架构下的存储性能优化：如何设计多级缓存与智能预取策略，在存算分离的架构下保证热数据的高效访问，并支持不同计算模式间的平滑切换；

3. 03

   存储格式优化与向量化执行加速：如何优化数据存储组织方式以同时满足点查和批量扫描的性能需求，并通过向量化批处理技术大幅提升数据处理吞吐；

4. 04

   关键算子的C++高性能重写与执行优化：如何将核心计算算子用C++进行高性能重写，消除运行时开销，并优化远程IO并发模型，充分利用系统资源；

5. 05

   流批增量一体的调度与资源优化：如何实现同一套SQL在流/增量/批三种模式间的零代码切换，设计高效的调度与资源复用机制，大幅提升资源利用率。 具体工作： 你将深入参与Setats统一流湖存储引擎的核心研发，主要涉及以下方向的设计与开发：存储引擎的数据写入与合并优化模块；多级缓存系统的缓存管理与预取策略实现；存储格式的读写路径优化；基于C++的向量化执行引擎与关键算子的高性能重写；高并发IO执行框架的设计与优化；增量计算模式下的状态管理与调度引擎适配。同时参与Setats在各类客户场景的落地优化与性能调优工作。

1. 01

   计算机科学、软件工程、数据科学、分布式系统等相关专业硕士及以上学历；

2. 02

   扎实的C++编程能力，熟悉现代C++特性（C++17/20），有高性能系统开发经验；具备良好的系统编程基础，熟悉内存管理、并发编程、协程等底层技术；

3. 03

   熟悉大数据处理框架（如Flink、Spark）或分布式存储系统（如RocksDB、HBase、Iceberg、Paimon等）的原理与实现，有相关开发经验者优先；

4. 04

   了解LSM Tree、B+ Tree等存储引擎数据结构，熟悉数据库存储引擎或数据湖存储格式（Parquet、ORC等）的设计与优化，有相关项目经验者优先；

5. 05

   了解分布式系统基本原理，包括一致性协议、存算分离架构、缓存策略、容错机制等；

6. 06

   具备较强的问题分析、系统设计与工程实现能力，有良好的团队协作和沟通能力；有开源项目贡献经验者优先。