优图实验室—面向内容安全的多模态鉴伪大模型研究

课题背景： 随着 AIGC 与 DeepFake 技术快速迭代，数字内容伪造、证件篡改、人脸合成等安全问题日益突出。目前单模态判别方法难以应对高真实感伪造、跨域复杂场景与多类型攻击的泛化挑战。多模态大模型凭借强大的跨模态理解、细粒度语义感知与统一表征能力，为内容真伪鉴别提供了全新技术路径。本课题旨在探索多模态大模型在内容安全领域的深度应用，构建支持 AIGC检测、证件/文档 篡改检测等可信鉴伪技术，提升对恶意生成内容的理解、定位与溯源能力。 课题挑战：

1. 01

   细粒度理解感知： 基于多模态大模型，挖掘 生成内容、篡改内容 在纹理细节、物理成像等细微差异，实现对微弱伪造痕迹的感知；

2. 02

   视觉推理能力构建：赋予鉴伪大模型视觉推理能力，能够结合例如 版式规则、生理结构等对复杂伪造内容进行可信的逻辑推理与判断；

3. 03

   生成检测统一框架构建： 将AIGC生成机制与鉴伪检测逻辑深度融合，利用生成模型的内在特性反哺检测理解任务，实现对AIGC生成内容的高效检测；

4. 04

   Agent 工具调用： 引入Agent的自主决策、反思与工具调用能力，实现鉴伪任务的智能化调度，自主判断检测场景、选择鉴伪策略、二次验证等，提升复杂场景下鉴伪任务的自动化与准确性；

5. 05

   未知攻击防御与高效应对：面对不断迭代的新型伪造技术，建立MLLM驱动的异常模式挖掘等能力，提升模型的泛化能力；以及构建动态更新的伪造特征知识图谱与自适应检测机制，实现对未知伪造模式的快速识别与响应。 具体工作： 你将参与面向内容安全的多模态鉴伪大模型系统的研发，围绕细粒度感知、视觉推理、工具调用、智能体开发等方向展开研究，推动模型在人脸核身、证件鉴伪、AIGC检测等真实业务场景中的落地。

1. 01

   计算机科学、人工智能、模式识别等相关专业的博士及优秀硕士；具有目标检测、Grounding，MLLM等研究背景者优先；

2. 02

   熟悉VLM/MLLM前沿进展，熟悉 CLIP/InternVL等技术路径；精通 PyTorch，在 CVPR/ICLR/NeurIPS/ICCV等顶会有相关成果者优先；

3. 03

   对多模态理解技术有强烈研究热情，对技术有较强的好奇心，具备较好的研究能力；沟通协作能力强，逻辑性强，具备独立解决问题的能力。