AI大数据开发工程师-光环技术中心

1. 01

   离线数据Pipeline建设 基于Hadoop/Spark/Hive构建稳定高效的离线数仓，完成游戏日志、业务数据库、埋点等多源数据入湖入仓。 设计分层清晰的数据模型（ODS/DWD/DWS/ADS），支撑运营报表、用户画像、归因分析、ABTest等业务场景。 开发并优化复杂离线ETL任务，处理增量/全量同步、分区管理、小文件合并、数据回刷等问题。

2. 02

   实时数据Pipeline建设 基于Flink/Spark Streaming构建高吞吐、低延迟的实时Pipeline，处理玩家行为流（战斗、付费、社交、道具流水等）。 实现实时数据清洗、维度关联、窗口聚合、动态配置更新等核心逻辑。 对接Kafka/Pulsar等消息中间件，实现端到端精确一次语义（Exactly-Once）。 支撑实时推荐、画像服务等实时特征计算业务场景。

3. 03

   特征工程 负责为算法同学提供全链路特征工程支持，包括离线特征、实时特征的生产与交付。 建设统一的特征平台，实现特征的注册、管理、复用与版本控制，提升算法迭代效率。 开发并优化特征计算任务（离线特征批处理、实时特征流计算），确保特征的准确性与时效性。 构建特征质量保障体系：特征一致性校验、特征分布监控、特征回溯与修复能力。 与算法同学紧密协作，理解特征需求，并转化为高效的生产代码。

4. 04

   数据治理与稳定性 优化实时作业资源效率（Flink状态后端调优、Checkpoint优化、反压处理）及离线作业调度策略。 构建智能运维Agent：实现数据质量自动巡检、Pipeline异常监控与自愈、资源弹性伸缩建议。

5. 05

   协同与创新 与数据分析师、算法工程师、游戏策划、后台开发同学紧密合作，理解业务需求并转化为数据pipeline方案并落地。 参与实时数仓、特征存储等前沿技术调研与落地。

基础必备

1. 01

   本科及以上学历，计算机相关专业，3年以上大数据开发经验。

2. 02

   扎实的编程能力：Java/Scala/Python中掌握至少两种，熟练linux服务器开发环境，掌握Docker开发部署。

3. 03

   大数据生态熟练： 精通Flink/Spark（至少一种）实时及离线开发，熟悉Kafka、Hadoop、Hive、HBase、ClickHouse等组件。

4. 04

   熟悉Redis、MySQL，理解其在大数据场景中的应用。

5. 05

   有实际离线/实时特征生产经验，能独立完成从特征需求到特征上线的全流程。

6. 06

   了解特征存储（Feature Store）概念，熟悉Feast、Tecton、美团刀锋等任一特征平台者优先。

7. 07

   具备与算法团队协作经验，能理解算法同学的特征需求并给出工程可行性建议。

8. 08

   有机器学习、大模型部署、Agent开发等技能经验优先考虑。