混元大模型漫爬数据策略算法工程师

负责大模型预训练/AI搜索业务的全网漫爬策略设计，解决资源发现和调度问题，覆盖全语种/多模态，提升有价值数据覆盖率、时效性；

页面质量，基于机器学习/NLP/LLM，构建高质量内容筛选策略，识别低质量/垃圾/重复页面，提高数据质量；

重复问题解决，优化URL/资源内容去重策略，提升爬虫抓取效率、内容转化和留存能力；

内容理解，基于BERT/GPT/LLM 等技术，构建网页内容理解、网页分类，助力大模型训练数据/AI搜索效果。

计算机相关专业优先，熟悉 python/c++编程语言；

有数据工程或相关领域的工作经验，具备一定的机器学习算法基础，了解BERT/GPT/LLM 等技术；

熟练掌握大数据技术栈，包括Hadoop、Spark 等，有使用数据库（如SQL）和数据仓库的经验。 加分项 1.熟悉抓取策略，包括全网覆盖、低质识别、内容理解等；熟练使用大模型、AI工具；有预训练数据处理经验。