吉利集团
性能数智技术开发岗
岗位职责
参与数据架构的规划,基于各条线业务,搭建适合的数据指标体系;
参与设计、构建和优化数据规则的定义、并与技术团队一起,进行数据模型的建立、数据清洗;
具备大数据和机器学习型思维;
学习主流的基础DevOps平台,如K8S,可以实现持续的平台/模型改进;
具备良好的团队合作精神、严密的逻辑思维能力及高效沟通能力;
汽车行业数据分析经验者优先
任职要求
熟悉Java基础,能够使用Java语言进行编程开发;
熟悉Linux系统基本操作命令及简单shell脚本;
熟悉使用原生 Apache,CDH 和阿里云服务搭建大数据开发集群;
熟悉hadoop生态系统,HDFS读写机制,yarn资源管理原理,MapReduce工作原理;
熟悉zookeeper原理,zookeeper和其他组件做分布式协调;
熟悉使用kafka原理和使用方法,kafka数据可靠性,能够熟练配置kafka并调优;
熟悉Maxwell,DataX,FlinkCDC等数据同步组件的基本工作原理,并且能够合理使用它们同步数据;
掌握 Hbase 表结构、存储、Phoenix 关联查询;
掌握Clickhouse列式数据库 原理,使用;
熟悉Spark工作流程,spark sql等相关的技术栈;
熟悉sqoop,datax等同步数据工具的使用,如HIVE/HDFS和RDBMS互导,全量导入,增量导入;
熟悉Hive构建数据仓库,Hive sql的编写及调优,开窗函数、爆炸函数、自定义函数运用;
熟悉使用Flink框架,flink 检查点,flink状态后端的调优,flink sql,flink cep,水位线,窗口等原理;
熟练掌握Flume的三个组件和使用方法,能够进行日志数据的收集、传输、过滤等工作,以及自定义拦截器来解决零点漂移的问题;
使用Azkaban通过shell脚本将结果数据落地到Mysql业务数据库;
熟练使用主流BI开发工具
信息来自企业官方招聘渠道
OfferSeek 对公开岗位信息进行聚合、去重和结构化整理,最终申请以企业官方页面为准。
