Harness 评估优化工程师（Agent 数据分析方向）

我们在优化内部的 Harness 产品。AI 用得好不好，很大程度取决于 Harness 这一层：工具怎么定义、上下文怎么组织、失败怎么恢复。这些问题的答案不在内部讨论里，在用户的真实使用数据里。本岗位负责从数据里找答案，驱动 Harness 持续改进。

1. 01

   分析 Agent 的真实使用数据（会话日志、工具调用轨迹、报错、token 消耗），识别高频失败模式与异常行为模式；

2. 02

   对行为信号做归因下钻：区分 Harness 缺陷 / 用户使用模式 / 模型能力边界 / 数据口径假象，定位到具体环节和成因；

3. 03

   将坐实的发现转化为 Harness 层的可执行改进建议（工具契约、上下文策略、失败恢复逻辑、系统提示设计等），协同工程团队推动落地；

4. 04

   设计并执行改进效果的验证：上线前后用同一套数据口径对比，量化问题是否收敛；

5. 05

   持续迭代分析方法与信号规则：从数据里发现新的、尚未被定义的问题类型，沉淀分析工具与结论产出流程。

1. 01

   有丰富的 Claude Code / Codex / Cursor 等编码 Agent Harness 的使用经验，是重度用户；对 Harness 和模型各自的失效模式有自己的思考——同一个失败，能分清是 Harness 设计问题还是模型能力问题；

2. 02

   熟练使用 Python 或 Node.js 进行数据处理与分析，有处理大规模日志（GB 级 JSONL）的实践经验，SQL 良好；

3. 03

   具备扎实的统计分析功底：抽样与分层对比、假设检验、混淆控制；清楚样本量受限时哪些结论站得住、哪些站不住，不把相关当因果；

4. 04

   强自驱力与问题推进能力：没有现成任务清单时，能自主提出假设、设计验证路径、追到根因为止。年限不设硬门槛——工具在快速变化，资历深不等于方法新，我们更看重把问题挖穿的习惯；

5. 05

   对数据结论诚实：证据不足就明说，规则命中有噪声就标注噪声，不为了结论好看而修饰数字；

6. 06

   良好的跨团队沟通能力：能把数据发现讲清楚给工程、产品团队，推动共识和行动。