微信安全- AIGC 大模型安全 (多模态)

近年文生图技术成为AI热点，可将自然语言转化为高质量图像，大幅降低创作门槛，广泛应用于广告、影视、游戏、设计等领域。但其普及放大了内容安全风险：部分用户通过提示词对抗诱导模型生成违规内容，触及业务安全底线，损害业务健康度，甚至因不当传播威胁社会稳定与公共安全。违规图片多含隐晦语义，场景复杂、对抗性强，纯视觉模型识别拦截能力有限，需结合图文信息与安全垂类知识联合分析。亟需更有效的治理手段。 课题挑战：

1. 01

   大模型内生安全知识。 通用多模态大模型在训练时会对数据做严格清洗，见到的恶意样本很少，所以模型有时会不理解违规内容到底违规在哪里，也缺少安全领域的专业知识，对那些拐着弯表达的风险内容更是难以察觉。

2. 02

   安全标准的遵循。 内容安全审核背后是一整套安全规则和分类标准，条目多、颗粒度细、边界模糊，还会随着业务变化和舆情动向不断更新。模型没有有效的规则检索和对齐机制，判图时很难找准该用哪一条标准，也就谈不上依据标准做分析。

3. 03

   判断过程的可解释性。 内容安全管控要求每个结论都有据可查、可以复核，但现在多模态大模型在结果和理由质量、一致性、清晰度上离应用有一定差距，这既让审核结论的可信度和申诉处理变得困难，也无法反过来帮助规则的迭代优化。 具体工作：本项目聚焦面向AIGC的多模态价值观安全护栏研究与落地，包含三部分：

4. 01

   垂类模型训练：面向微信文生图场景开展业务垂类多模态安全大模型预训练，学习领域安全知识与数据分布；

5. 02

   标准知识注入：通过指令微调、检索增强生成与上下文学习，强化模型对安全标准的检索与参考能力，适配标准的实时迭代；

6. 03

   标准驱动的思维链：结合安全标准生成高质量推理链，使决策透明化，并反向指导标准维护更新。

课题要求

1. 01

   计算机／人工智能／数学／统计等相关专业在博士（优异的硕士生亦可），熟悉多模态大模型主流架构和原理；

2. 02

   具备扎实的编程基础，熟练掌握 Python，熟悉 PyTorch，了解主流大模型训练／推理框架；

3. 03

   在NLP、多模态或大模型方向有相关研究或项目经验，具备独立跑通实验、分析结果、迭代方案的能力；

4. 04

   良好的沟通与团队协作能力，自驱、皮实，对大模型技术有强烈热情； 加分项

5. 01

   在 ACL／EMNLP／NAACL／NeurIPS／ICML／ICLR／CVPR／ICCV／ECCV／AAAI 等顶会有一作论文优先；

6. 02

   有大模型实际场景的训练调优经验，熟悉强化学习后训练经验（PPO／DPO／GRPO 等）；

7. 03

   有高质量开源项目、相关竞赛获奖经历。