基于LSM的分布式数据库冷热分层存储架构研究

课题背景： 随着数字化转型加速，企业数据呈现爆发式增长态势，海量数据存储已成为云原生分布式数据库面临的核心挑战之一。传统单一存储介质（如本地SSD/HDD）难以兼顾高性能与低成本需求——高性能介质成本高昂，而低成本介质无法满足高频访问需求；同时，云环境下对象存储凭借近乎无限的容量和低廉的单位存储成本成为降本关键，但其高延迟特性与数据库的实时访问要求存在天然矛盾。在此背景下，构建适配海量数据场景、融合异构存储介质优势的冷热分层存储架构，成为云原生分布式数据库突破存储瓶颈、实现成本与性能平衡的重要方向。 课题挑战： 本课题需攻克以下： 核心挑战：

1. 01

   异构介质的协同管理难题：需将本地SSD（高性能）、HDD（中性能）、云盘（弹性扩展）、对象存储（低成本）等异构介质统一纳管，实现数据在不同层级间的透明流转与高效调度，避免因介质差异导致的访问中断或性能抖动；

2. 02

   冷热数据的精准识别困境：冷热数据划分依赖多维动态特征（如访问频率、时间衰减效应、业务语义关联），传统静态阈值或简单统计方法易导致误判（如短期低频但长期重要的数据被错误归档），需在迁移开销（计算/网络成本）与成本收益间找到最优平衡点；

3. 03

   冷数据访问的性能瓶颈：对象存储的低延迟劣势可能导致冷数据访问超时，影响业务SLA；如何通过预取、缓存、IO合并等技术弥补性能差距，同时保持架构轻量化，是一大技术难点；

4. 04

   全局成本与性能的权衡优化：需在保障数据库核心性能指标（如读写延迟、吞吐量）的前提下，最大化对象存储的使用比例以降低总拥有成本（TCO），避免因过度追求低成本导致性能劣化。 具体工作： 实习生主要参与核心模块创新开发，包括异构介质协同流转、多维度动态冷热识别模型、低延迟预取缓存优化及多目标成本-性能平衡策略，突破关键技术瓶颈。

1. 01

   计算机科学、软件工程、电子信息等相关专业本科及以上学历；

2. 02

   熟练掌握数据结构、算法、操作系统、计算机网络等计算机基础知识；

3. 03

   熟练掌握至少一门编程语言，例如：C/C++、Java、Python、Go等；

4. 04

   具备强烈的学习意愿和能力，能够快速掌握新技术；

5. 05

   具备良好的沟通能力和团队合作精神，能够积极主动地解决问题。