VLA算法工程师(J17574)

岗位职责

负责VLA（Vision-Language-Action）多模态模型的算法研发，包括模型架构设计、预训练、微调及部署优化，跟踪RT-2、OpenVLA、RDT等前沿技术并引入实际业务；

负责基于VLM的具身智能数据预标注体系建设，通过模型微调提升系统对机器人操作、环境感知等复杂场景的2D/3D自动化识别精度；

主导构建涵盖2D图像语义、3D点云空间位置及多模态文本描述的自动化标注流水线，实现从原始传感器数据到高质量训练集的快速转化；

研发并优化在线自动打标（Online Labeling）系统，支持在数据采集过程中实时生成伪标签，并基于模型置信度进行自动化的数据初筛；

从模型能力短板出发反向定义数据需求，分析模型失败案例（Bad Cases），诊断数据问题并输出清晰的数据采集方案，与采集团队对接将技术需求转化为可执行标准；

制定数据质量评估标准与反馈闭环机制，利用算法手段识别并剔除低质量或干扰项数据，确保存储与训练任务使用高价值样本；

协同算法团队进行标注模型的持续迭代，通过难例挖掘（Hard Example Mining）与针对性微调，不断突破自动化标注在长尾场景下的性能瓶颈；

设计模型评测方案，在仿真环境和真实机器人上验证效果，定位模型在泛化能力、长尾场景等方面的短板并制定优化计划。

任职要求 1、 本科及以上学历，计算机、人工智能、机器人、数学等相关专业； 2、2年以上算法相关工作经验，有多模态、大语言模型、计算机视觉或机器人学习背景；

深入理解深度学习原理，熟悉Transformer、Diffusion等主流模型架构；

熟悉多模态对齐技术，了解CLIP、BLIP等图文模型的训练范式；

熟练掌握Python，熟悉PyTorch/TensorFlow等深度学习框架，有分布式训练经验；

熟悉2D/3D视觉识别技术，有图像语义分割、点云处理、多模态标注等相关项目经验；

熟悉主动学习、难例挖掘、数据增强等数据策略，能从模型效果反推数据问题；

加分项

有VLA/具身智能项目经验（如RT-2、OpenVLA、RDT、PaLM-E等）；

熟悉机器人仿真平台（Isaac Sim、MuJoCo、CoppeliaSim）或ROS/ROS2；

熟悉C++或嵌入式开发，能配合工程团队做模型部署。