KIMI Agent Eval Intern｜视觉/3D/Robotics方向

1. 设计有真实价值、有难度的题目。从用户需求与专业工作流中提炼任务，明确交付物、约束和验收方式；用多种模型的实际作答验证难度与区分度，形成覆盖不同能力和难度层级的题集。
2. 把“好在哪里、错在哪里”写成可执行的 rubric。拆解需求满足、结构与功能正确性、动态或物理合理性、视觉表达等维度，明确必要条件、评分档位、权重、正反例和边界情况，让专业判断可以被他人复核、被自动评测使用。
3. 持续改进自动出题与判分方法。从误判样本中定位问题，迭代 rubric 模板、生成流程和 Judge 提示词；与研究、工程同学协作，结合程序检查、执行或仿真结果、视觉模型及多模态模型判断，选择适合任务的评测方式，并用对照实验验证改进。
4. 验证 Judge 的可信度。组织人工校准与分歧复盘，检验重复评分稳定性、与人工判断的一致性、严重误判及跨题目、跨模型泛化；保留独立测试集，排查模板过拟合、风格偏置与“钻评分空子”的案例。
5. 沉淀可复用的评测资产。维护题目、rubrics、锚点样例、失败案例和版本记录，让评分能够追溯到具体证据；设计不确定样本转人工复核的机制，在明确质量门槛下提高自动评测覆盖率。

我们期待你

• 本科及以上在读，专业不限。欢迎设计、数字媒体、建筑、计算机、人工智能、图形学、机器人等背景。
• 有专业判断，也能解释判断。能结合任务目标说明一个结果为什么好或不好，把“感觉不对”转化为明确的维度、例子和验收条件。
• 愿意用实验修正标准。能主动寻找反例、处理评审分歧，区分模型能力不足、题目歧义和评测器错误；在证据不足时保留不确定性。
• 有动手能力与清晰的表达。能借助脚本、数据分析工具或 AI 工具整理样本、完成小规模对照实验，记录过程并复盘结果；能够阅读相关英文资料，与不同专业背景的同学协作。

以下两类能力至少具备一类，欢迎兼具两者：

• 设计与领域评测方向：在视觉设计、视频、动画、3D、交互或产品设计等领域有作品或实践；能提出有区分度的质量标准，并通过样例校准与团队协作，将标准推进到自动评测中。
• 技术与评测研究方向：具备 Python 或 JavaScript 编程能力，有模型评测、计算机视觉、图形学、具身智能或自动化测试等项目经验；能够实现指标或验证脚本，分析指标与实际任务质量之间的差距。

加分经历

• 设计过评测标准、数据集、Benchmark、奖励函数或 LLM / VLM Judge；有人工标注校准、误差分析或评测工具开发经验。
• 熟悉 Blender、Rhino / Grasshopper、Three.js、视频生成或机器人仿真中的任一方向，能检查源文件、交互过程、时序表现或运动约束。
• 有将主观质量转成可验证标准的实践，例如解释视频节奏与美感、检验参数化模型的可编辑性与复现性、验证机器人结构与动作的可行性。

你将推动的成果

围绕一个具体任务方向，完成“题目与样例 → rubric → 自动评测 → 人工校准 → 独立验证”的完整迭代，并沉淀可复用的题包、标准和分析报告。

我们关注的进展包括：题目能否反映真实需求并区分能力；评分能否稳定复现、解释到具体证据；在保留质量区分度的同时，能否降低严重误判；在控制误判的前提下，能否减少人工复核量和评测成本。各项指标会结合任务基线共同设定