蚂蚁集团-网络爬虫技术专家-【垂类大模型】

负责全网高价值互联网数据源发现，涵盖网页、PDF、音视频等多模态来源，分析评估数据天花板，支持金融等核心领域数据全面覆盖；

负责全网数据采集相关系统架构设计和开发工作，持续优化提升数据任务和系统能力水位，充分支持模型训练、RAG搜索等数据需求；

持续提升技术竞争力，在数据覆盖、数据时效、下载渲染成功率、采集成本方面做到行业领先水位；

保障系统稳定性，预判并解决系统潜在技术风险，持续降低技术负债。

精通数据采集/网络爬虫领域，具备解决全网爬虫核心问题实战经验，3年以上大型互联网公司开发经验；

熟练掌握Java/Python/Go当中至少一种编程语言，具备主导复杂系统架构设计能力；

熟悉分布式架构和并发编程，熟悉业界主流大数据计算存储引擎Spark/Flink/MaxCompute等，具有数据密集型应用开发经验；

有运用LLM能力解决生产问题案例可加分，熟悉网络协议及代理、浏览器引擎和移动端技术可加分。