大模型算法测试工程师(J20215)

岗位概述： 测试大语言模型（LLM）的生成质量、一致性、安全性、多语言能力等。重点关注模型输出的准确性和可靠性。 岗位要求：

1. 01

   构建 LLM 测试用例库：包括文本理解、代码生成、多轮对话、知识问答等

2. 02

   设计评估指标体系：准确率、相关性、毒性检测、幻觉评估等

3. 03

   执行黄金测试集测试：对 LLM 输出进行人工或自动打分

4. 04

   使用 LLM-as-a-Judge 方法进行大规模自动评估

5. 05

   红队测试：通过对抗性提示词测试模型边界和安全性

6. 06

   多语言测试：验证模型在中文、英文、印度语等市场语言上的表现

7. 07

   性能监控：跟踪模型输出延迟、成本、稳定性

1. 01

   本科及以上学历（计算机、NLP、数学相关经验等专业）

2. 02

   Python 编程能力强

3. 03

   对大语言模型有基本认知（理解 Transformer、Token、Prompt 概念）

4. 04

   逻辑严谨，能设计系统的评估方案

5. 05

   有数据标注或质量评估经验（优先）

加分项

1. 01

   使用过 ChatGPT、Claude、国内大模型的实际体验

2. 02

   理解 Prompt Engineering 基础

3. 03

   有 NLP 课程设计或竞赛经验

4. 04

   了解评估指标：BLEU、ROUGE、BERTScore 等

5. 05

   参与过文本分类、情感分析等 NLP 项目

6. 06

   对文史哲感兴趣且有对应背景知识