数据治理工程师（Apache Doris 方向）

核心职责

1. 01

   集群稳定性治理 负责现有大数据存储架构的整体治理，解决 BE 内存占用过高、Compaction 堆积、节点负载倾斜、查询延迟高、频繁 OOM 等在线稳定性故障，并持续支撑数据的长期存储与分析需求；

2. 02

   ETL 全链路治理 负责上游测试日志的采集、解析与入库流程优化，重构既有 ETL 体系，解决过程中的各类问题；建立入库缺失（漏传、解析失败、同步失败）的对账与心跳告警，让问题由系统先报而不是靠用户反馈；

3. 03

   Doris 深度调优与架构设计 完成 PageCache、Compaction、导入与查询的内存参数优化；Tablet 分片均衡、冷热数据分层规划、混合负载拆分架构设计，让脱机分析与高频在线点查互不干扰；

4. 04

   规范 Owner 制定统一的 Doris 数据建模规范、开发使用规范与 SQL 审核标准，编写最佳实践文档，指导并培训后端与 ETL 开发人员；分析并纠正业务侧把 Doris 当 MySQL 用的错误方式，推动下游各业务合理使用；

5. 05

   口径与关连治理 把建模规范向上延伸为字段级关连与口径版本管理，让任一报表数字可回溯到原始 log 与口径定义；并把口径核对规则整理成机器可执行的规则集，供给部门的裁判 Agent 使用；

6. 06

   冷热分层与长期保存 落地冷热数据分层（含对接对象存储归档），在控制热层容量与成本的同时，对齐车规客户对测试数据 10–15 年保存与可追溯的要求

1、5 年及以上大数据开发／OLAP 架构经验，其中至少 2 年 Apache Doris 生产集群的深度调优落地经验；具 50TB 以上集群运维优化实战，曾独立排查并解决 BE 内存持续飙升、Compaction 雪崩、Tablet 分片倾斜、频繁 OOM 等在线重大稳定性故障；

2. 02

   精通 Doris 底层存储、缓存、合并、导入、查询全链路机制，能清晰区分 OLAP 分析库与 MySQL OLTP 库的适用边界，具备混合读写负载拆分的落地经验；

3. 03

   熟练 ETL 全链路设计，精通 Python／Shell，具 BrokerLoad／StreamLoad 性能优化实战；

4. 04

   精通数仓分层建模与 SQL 全局优化，能制定完整的数据开发规范，并具备跨业务团队宣讲、推动代码与 SQL 整改落地的经验；

5. 05

   熟练 Linux 集群故障排查，能通过系统指针与 FE／BE 日志定位 IO、内存、RPC、后台任务瓶颈