软件开发工程师

平台开发：负责基于 Hadoop/Spark 生态的大数据平台开发与维护，支撑日均TB级数据处理。

数仓建设：参与数据仓库的ETL设计，使用 Hive 进行离线数据处理与建模，优化数据分层架构（ODS/DWD/DWS）。

性能调优：针对 Spark 作业进行内存、Shuffle及执行计划调优，解决数据倾斜问题，提升集群资源利用率。

实时计算：参与Flink实时流处理项目的开发，构建实时大屏与监控预警系统。

业务赋能：与算法、运营团队协作，提供高质量的数据支持与API服务。

基本功扎实：计算机相关专业本科及以上学历，3年以上大数据研发经验。

Hadoop生态：深入理解Hadoop原理，熟悉YARN资源调度与HDFS存储机制。

SQL专家：精通 Hive SQL，具备复杂场景下的数据清洗与多维分析能力，熟悉Hive底层执行机制。

Spark实战：熟练掌握 Spark（Core/SQL/Streaming），有源码阅读经验者优先。

编程语言：精通Java或Scala，熟悉Python/Shell脚本开发。

解决问题： 具备极强的责任心，能独立排查生产环境中的数据质量问题与性能瓶颈。