研究型实习生-面向异构计算引擎协同的 AI Data Pipeline 端到端可观测与优化方法研究

研究领域： 数据处理 项目简介： AI Data Pipeline 是由数据处理、特征构造、模型推理和结果后处理共同组成的异构计算链路。不同阶段可以选择 ODPS、AntSpark、AFlow 等支持CPU/GPU计算的分布式计算引擎，也可以选择 Theta推理、AIStudio GPU Pod，以及在 AFlow 中启动 vLLM、SGLang 等本地推理运行时。同一个逻辑节点往往存在多种可行实现，但不同方案在数据规模、模型类型、资源供给、启动开销、吞吐、时延、稳定性和成本方面各有边界。 当前引擎选型与参数配置主要依赖研发经验和局部压测，缺少覆盖整条 Pipeline 的统一观测与定量分析体系。一方面，各引擎的任务、资源和性能指标口径不同，难以回答耗时与成本主要消耗在哪个节点、数据搬运和模型加载造成了多少额外开销、GPU 的高利用率是否真正转化为有效推理吞吐等问题；另一方面，单节点局部最优并不等价于 Pipeline 全局最优，例如切换到更快的推理引擎可能增加数据转换和跨系统传输成本，提高并发度也可能造成下游拥塞或资源空转。 本研究拟面向AI Data Pipeline 构建端到端可观测与自适应优化方法：建立跨引擎统一的逻辑节点、物理任务、数据流与资源消耗观测模型，研究关键路径识别和性能瓶颈归因方法；结合历史运行画像、轻量级基准测试和在线反馈，建立同时考虑语义约束、数据规模、资源可用性、完成时间、单位有效结果成本和 GPU 有效利用率的性能预测模型；进一步研究约束驱动的引擎选择与参数推荐算法，为节点选择 ODPS、AntSpark、AFlow、Theta、AIStudio GPU Pod 或本地 vLLM/SGLang，并联合优化分片数、并发度、batch size 和资源规格，形成“观测—诊断—推荐—验证—反馈”的闭环。

研究领域： -目前正在攻读计算机科学或相关STEM领域的学士,硕士或博士学位 -具有一种或多种通用编程语言的经验,包括但不限于: Java,C/C ++ 、Python、JavaScript或Go -具有上述研究领域的相关经验,包括行业经验或作为参与实验室研究 优先录用： -对技术研究充满热情,具有产生新思想和创新的能力; 在自学,问题分析和解决方面表现出色 -在国际会议上或核心期刊发表一份或多份出版物或论文 -至少3个月的全职工作