云测试开发工程师

负责大数据产品的技术方案评审，测试用例设计、执行和撰写测试报告，产品问题分析并跟踪解决；

负责大数据产品的功能、性能、稳定性、高可用等方面的质量保障。

负责数据湖/湖仓一体架构的质量保障，负责基于 Hudi / Iceberg 构建的实时数据湖的质量保障工作；

负责 Trino / StarRocks / Doris 等 MPP 查询引擎的功能与性能测试，验证其对 Hive/Iceberg/Hudi 等多数据源的联邦查询能力。针对复杂的多维分析场景，设计高并发查询、大表 Join 及资源隔离的压测方案，优化查询响应时间（RT）和并发度；

参与基于 Ambari 的大数据平台部署与维护，制定组件升级、扩缩容的稳定性回归测试用例。验证 Kerberos 与 Ranger 集成的权限控制体系，包括库、表、列级的数据脱敏与访问授权，确保数据安全策略在 Spark/Flink 计算任务中生效；

针对 Spark/Flink 开发的实时/离线 ETL 任务，构建数据质量校验基线和自动化测试框架（Python/Java）。

熟悉 K8s，操作系统及编译环境，熟悉 Linux、Idea 等；

熟悉 Hadoop 生态，掌握 MapReduce 原理，进行二次调优；

理解 Spark 工作机制，掌握 Spark 任务的执行流程；

掌握 Kafka、Flume 数据采集工具的原理，实现流式数据的过滤和分析；

使用 Sqoop 工具，实现非关系型数据库与关系型数据库表数据互导；

熟练掌握大数据技术栈，包括 Hadoop/Hive/Kafka/Spark/Flink 开源组件；

掌握 MapReduce、Hive、Spark、Flink 引擎调优等技术；

熟悉 Python、Java 和 Shell 等脚本编写自动化测试用例；

精通 SQL 语言，熟练使用 PostgreSQL、Mongo、MySQL、HBase 等数据库；

熟悉 Ambari、Hudi、Iceberg、StarRocks、Kerberos、Doris 等优先；

具有良好的沟通能力及理解能力，能够独立阅读英文资料。