数据工程师(风险图数据与服务方向)
深圳虾皮信息科技有限公司岗位职责:图数据生产:基于多源实体、账号映射、关系规则、推断结果搭建可维护的点边数据链路,完成清洗、去重、增量更新、历史补数、关系生命周期管理。 图库导入与版本管理:搭建并维护批量、按需近实时导入任务,管理 schema、字段映射、图版本、快照与迁移,保证写入、训练、查询口径统一。 数据质量与时点校验:监控节点 / 边量级、重复缺失、异常高频实体、数据新鲜度、版本差异;留存数据源、生效时间、版本信息,支持按历史时点构图和回测。 图查询与服务封装:联合算法、平台同学开发关联穿透、实体归一、路径查询、邻居聚合等复用接口,优化查询… 岗位要求:本科及以上,计算机、软件工程、数据工程等相关专业,有可落地的数据工程或后端服务上线经验。 熟练 SQL,掌握 Python/Java/Scala 至少一门,能编写易维护、可测试的数据处理与服务代码。 熟悉 Spark、Hive、Flink、Kafka 或同类组件,有批量 / 流式数据链路开发、调度、问题排查经验。 理解实体、关系、图遍历、聚合查询,可落地图…
