上海市国资国企人才招聘平台
全渠道-AI数仓开发工程师
岗位职责
参与集团级离线/实时数据仓库的架构设计与主题域建模,参与 ODS→DWD→DWS→ADS 分层体系建设与持续迭代;
参与业务条线(零售/会员/供应链等)数据模型规划、ETL 开发、任务编排与性能优化,保障核心数据资产的准确性、及时性与可复用性;
基于 Hadoop/Hive/Spark/Flink/Kafka 等生态组件,参与建设日志采集、数据同步、清洗标准化、明细/汇总加工的全链路数据管道;
参与推进数据治理工作,包括数据质量监控、血缘管理、口径统一及 SLA 保障;沉淀标准化的数据字典、指标体系与知识库,降低业务与技术的沟通成本;
参与推进数据资产的AI-Ready化改造,规范元数据语义、完善字段注释与业务上下文,为知识库检索、RAG(检索增强生成)及大模型应用提供高质量语料基础;
参与跟进湖仓一体、流批一体等数据工程演进方向,探索 Iceberg/Paimon、OLAP引擎及大模型驱动的数据分析场景落地。
任职要求
本科及以上学历,计算机、软件工程、大数据、数据科学等相关专业优先;
扎实的 SQL 能力,熟悉复杂查询、窗口函数、执行计划分析与常见性能调优;
熟悉 Hadoop 生态(HDFS/YARN/MapReduce)、Hive/Spark SQL 离线数仓开发;了解 Flink/Kafka 实时数据处理链路,具备流批一体意识者优先;
了解维度建模方法(星型/雪花模型、事实表/维表设计、SCD),理解数仓分层与主题域抽象,能在指导下完成业务模块的模型设计;
具备编码能力,熟练掌握 Java、Scala、Python 中至少一门,能用 Shell 编写自动化脚本;有 Spark/Flink 作业调优、数据倾斜处理经验者优先;
了解 DataX/Kafka Connect/Airflow/DolphinScheduler 等同步与调度工具,理解任务依赖、分区、幂等重跑等基本工程概念;
对业务有好奇心,能快速理解业务过程并映射为数据模型;具备良好的文档与结构化表达能力,有数据知识库、数据字典或元数据平台建设经验者优先;
【加分项】了解 RAG、知识图谱、向量数据库等大模型相关技术原理,理解高质量结构化数据对 LLM 应用的重要性;有 AI-Ready 数据集建设或大模型数据预处理实践经验者优先。
信息来自企业官方招聘渠道
OfferSeek 对公开岗位信息进行聚合、去重和结构化整理,最终申请以企业官方页面为准。