2023年5月，我院科研人员联合上海交大计算机系和医学院附属瑞金医院合作者，在数字病理图像和高通量分子组学跨尺度多模态学习方面取得进展，相关成果近日以“Improving diagnosis and outcome prediction of gastric cancer via multimodal learning using whole slide pathological images and gene expression”为题，在线发表于《医学中的人工智能》（Artificial Intelligence in Medicine）杂志（中科院1区），我院感染与免疫研究所组学研究与应用研究组戴文韬研究员、上海交大计算机系杨旸教授和瑞金医院刘炳亚教授为共同通讯作者。
       胃癌是全球范围内最常见的恶性肿瘤之一，病理诊断作为胃癌金标准，目前全切片病理图像（WSI）的评估繁琐耗时且准确率仍有提升空间。由于人工智能技术，特别是深度学习的进步，基于WSI的AI辅助病理诊断方法已展示出在保障准确率的条件下，降低人工成本，节约诊断时间的潜能。理论上，引入更多WSI的互补信息，比如基因表达相关转录组信息，通过多模态学习可以增强AI辅助胃癌诊断和预后预测能力，并提升模型的可解释性，有助于推进AI辅助胃癌病理诊断预测技术在临床的落地应用。
       项目团队针对上述需求，利用瑞金医院的一套包括数字病理、基因表达和临床随访信息的胃癌数据集，发展了一种用于胃癌诊断和预后预测的多模态学习（multimodal learning）方法GaCaMML。GaCaMML通过一个五层深度神经网络，实现WSI和基因表达特征提取，借助跨膜态注意力、多实例聚合、特征融合预测实现了生存预测、病理分期和淋巴结转移三项任务，相对单模态深度学习模型的显著优势，并利用肺腺癌公共数据展示了GaCaMML推广到其它癌种的能力。论文中，研究人员发现跨模态注意力机制和逐片训练方案，对于GaCaMML的性能提升作用重大；同时利用集成梯度（IG）方法对GaCaMML中特征关联作用进行解析，揭示了在WSI特征之外，MMP家族和TP53等基因在胃癌相关预测任务中的重要影响，并定量评估了不同基因表达同WSI特征的关联关系，提升了模型可解释性。该研究同步获得软件著作权授权1件。
       这项研究展示了多模态学习在胃癌相关诊断预测任务中的巨大潜力，发展了有推广潜力的计算模型和训练策略，探讨了WSI和基因表达的贡献；这不仅展示了模型运作决策机制，还提供了宏观病理表型和微观分子特征之间关联的见解。未来，多模态学习方法有望成为癌症诊断和预后预测的重要工具，减轻医生负担，推动个性化医疗和精准治疗，改善患者生活质量。
       该研究受到国家自然科学基金、上海科学院关键共性技术攻关计划、上海生研院优秀青年科技人才培育专项等项目的资助；感谢商汤科技（SenseTime）提供SenseCare系统协助本项目进行胃癌病灶标注。