【星火X计划】跨模态医学影像大模型研究(J13807)

【课题介绍】

本课题聚焦临床真实场景下医学影像多模态大模型核心技术研发，针对CT、MRI、DR等多类型医学影像数据，联合影像报告、病历体征等多维度信息，研究影像跨模态统一表征、临床推理、智能诊断与自适应泛化技术。当前通用多模态大模型存在影像领域知识缺失、影像特征捕捉不足、临床逻辑推理薄弱、场景泛化性差等问题，难以满足精准诊断、病灶筛查、预后评估等临床刚需。课题将围绕医学影像多模态数据对齐、降噪、影像思维链推理机制、长尾病灶自适应学习、影像诊断智能体构建四大核心方向开展系统性研究，突破通用大模型在医学影像领域的落地瓶颈，搭建集高质量数据构建、领域预训练、指令微调、临床推理优化、智能交互诊断于一体的医学影像多模态大模型技术体系，打造具备专业影像认知、精准病灶分析、可解释推理能力的影像专属大模型，支撑各类临床辅助诊疗、医学科研、智能阅片等核心业务场景落地。

【课题挑战】

1、数据噪声清洗及诊断一致性难题：医学影像不同医师的标注标准、病灶判定尺度等存在显著个体差异，导致标注数据存在标注冲突、边界不统一等问题，严重影响模型预训练精度与临床泛化能力，亟需构建影像专属的数据降噪、标注一致性校准与质量管控体系；

2、跨模态特征对齐与临床知识融合难题：影像视觉特征、报告文本语义特征、临床知识等属于异构多模态数据，存在特征空间不统一、信息密度差异大、关联耦合复杂等问题。需要精准捕捉影像细微病灶特征与临床文本、专业知识的深层关联，提升模型精准诊断能力；

3、长尾样本与罕见病泛化难题：影像疾病诊断呈现严重的长尾分布，常见病、多发病数据样本量大，罕见病、疑难病样本稀缺。模型易出现常见病过拟合、长尾疾病诊断精度大幅下降的问题，难以满足全病种、全场景的临床诊断需求；

4、医学影像专属思维链设计难题：通用大模型思维链缺乏影像诊断层级化推理逻辑与专业知识体系，无法复刻医师“发现异常-分析异常-结合临床-做出诊断”的完整诊疗流程。难以输出符合临床规范的诊断依据与结论，亟需设计适配多模态影像输入、贴合临床诊疗范式的层级化、可解释医学思维链推理架构；

5、影像诊断Agent自主推理难题：传统影像AI模型多为单任务、固定范式输出，不具备自主感知、动态推理、多任务联动与交互式诊断能力。面向临床场景，亟需构建专业化影像诊断Agent，解决多模态影像动态解析、影像专属工具智能调用、病史与影像联合推理、自适应诊断决策等核心问题，实现从“被动识别”到“主动诊疗推理”的技术升级。

【课题价值】

1、技术创新价值：突破通用模型在医学影像领域的短板，搭建专属的医学多模态数据治理、临床思维链推理、长尾样本自适应学习及影像诊断Agent技术体系，攻克多模态异构融合、可解释临床推理、小样本罕见病诊断等行业核心难题，填补高精度、可解释、全病种适配的医学影像大模型技术空白，形成差异化核心技术优势；

2、临床应用价值：破解传统医疗AI单任务局限、长尾疾病漏诊误诊、诊断结果不可解释、场景泛化性弱等临床痛点，实现病灶精准定位、征象量化分析、疑难病例辅助推理、标准化报告自动生成等功能，有效提升临床诊疗效率、降低医师工作负荷，助力基层医疗提质增效与疑难病例精准诊疗；

3、业务赋能价值：覆盖体检筛查、门诊诊断、住院复核、罕见病诊疗、医学科研、教学实训等全场景，打破传统影像AI业务边界，实现从单一影像识别到全流程临床辅助诊疗的升级，支撑智慧影像中心、AI辅助诊疗平台等业务落地与规模化应用；

4、行业社会价值：沉淀领域核心技术、自研算法与落地模型，形成学术与技术壁垒，助力医疗AI技术长效迭代。推动医学影像AI从被动识别向主动智能诊疗推理进阶，促进医疗资源均衡化，提升全国影像诊断同质化水平，降低诊疗误差，具备重要的行业示范与民生普惠价值。

1、24-27届博士毕业生，人工智能、计算机科学、电子信息、自动化、模式识别、生物医学工程、医学影像工程、深度学习等相关专业，具备扎实的科研素养与医疗AI前沿研究视野；

2、精通深度学习、大模型基础理论与多模态建模核心技术，具备1年以上多模态大模型研发经验、2年以上医学影像AI模型研发经验，熟悉主流医学影像数据特征与诊疗逻辑；

3、熟练掌握大模型预训练、领域微调、偏好优化、强化学习等核心技术，能够独立完成医学影像多模态模型的问题定义、算法设计、数据治理、消融实验与规模化性能验证，有医疗多模态模型、影像诊断模型落地经验者优先；

4、具备扎实的工程实操能力，熟练使用PyTorch、JAX等主流深度学习框架，熟悉分布式训练、混合精度优化、显存调度、模型量化与推理部署，有医学模型工程化落地、流式推理优化经验者优先；

5、具备独立科研攻关、复杂问题拆解与技术迭代能力，能够自主攻克医学多模态建模、临床思维链设计、诊断Agent优化等核心技术难题；在NeurIPS、ICML、ICLR、CVPR、MICCAI等相关顶会发表论文，或有高质量开源项目、医疗AI落地成果者优先；

6、具备良好的跨团队协作能力，可协同临床、数据、算法、工程、产品团队完成模型迭代、临床验证与业务落地，抗压能力强，适配工业级前沿算法研发节奏。