后端开发工程师

负责多模态多语言数据处理管线与集成平台的后端架构设计、开发和交付，构建覆盖数据接入、文档解析、文本清洗、质量过滤、格式标准化和入库交付全流程的数据处理系统，持续提升数据处理效率与质量。

建设支持多模态语料清洗与过滤能力，设计可组合、可版本化、可回滚的规则引擎与语言配置体系，保障数据处理的正确性、可观测与不丢数。

负责大规模分布式数据处理的工程落地，基于 Spark 等分布式计算框架完成清洗、转换、质量评估管线的性能优化与容量规划，支撑 PB 级语料的高吞吐处理。

建设多模态多语言数据集成平台，统一管理数据源接入、处理任务编排、数据血缘追踪和质量度量，沉淀可复用的数据处理工具库与组件。

设计并实现数据处理的配置化、版本化管理能力，支持规则集灰度发布、shadow 对比验证、异常归因和快速回滚，保障数据质量持续可控。

完善数据处理任务的失败重试、幂等控制、计数守恒校验、日志追溯、监控告警等稳定性能力，建立覆盖吞吐、保留率、错误率的完整指标体系。

与大模型训练、算法、评测团队协作，理解下游语料需求并将数据模型&质量标准工程化、规模化，参与语料构建、质量评估和迭代优化闭环。

参与工程规范、接口标准、测试体系（golden corpus、回归测试、性能基线）和研发工具链建设，持续提升系统质量和团队研发效率。

本科及以上学历，计算机、软件工程、人工智能等相关专业，3 年及以上 Python 或 Golang 后端研发经验。

深入理解 Python 或 Golang 的语言特性和工程实践，注重代码规范、测试质量和系统可维护性，具备大型代码库的重构与演进经验。

熟悉 Spark、Ray 等分布式计算框架，理解大规模数据处理的分区策略、容错机制、内存管理与性能调优方法。

熟悉数据库、缓存、消息队列、对象存储和容器化等常用基础设施，具备数据密集型系统的设计经验。

具备文本处理、数据清洗、ETL 管线或数据平台开发经验，理解数据质量治理的常见问题与工程解法。

熟悉 RESTful、RPC 等服务接口设计方式，具备完善的服务治理、监控和故障排查能力。

具备较强的问题分析、技术攻坚和跨团队协作能力，能够独立推进复杂模块落地，并从数据指标出发持续迭代系统。

具备基本的大模型或 NLP 工程化知识，了解语料构建、数据预处理对模型训练的影响，能够理解算法团队对数据管线的要求。 加分项

有大模型训练语料构建、多语言数据处理、多模态数据（图像、音频、OCR、文档解析）管线研发经验。

熟悉 Ray、Argo、Airflow 等任务编排或分布式计算框架，有 YARN 或 Kubernetes 集群上的大规模作业调优经验。

有数据处理平台的版本管理、灰度发布、shadow 验证或 A/B 对比体系建设经验。

活跃于开源社区，参与过有实际用户或影响力的开源项目。