作者：Jana Lipkova a,b,c,d, Richard J. Chen a,b,c,d,e, Bowen Chen a,b,h, Ming Y. Lu a,b,c,d,g, Matteo Barbieri a, Daniel Shao a,b,f, Anurag J. Vaidya a,b,f, Chengkuan Chen a,b,c,d, Luoting Zhuang a,c, Drew F.K. Williamson a,b,c,d, Muhammad Shaban a,b,c,d, Tiffany Y. Chen a,b,c,d, Faisal Mahmood a,b,c,d,i,*单位：a Department of Pathology, Brigham and Women’s Hospital, Harvard Medical School, Boston, MA, USA.b Department of Pathology, Massachusetts General Hospital, Harvard Medical School, Boston, MA, USA.c Cancer Program, Broad Institute of Harvard and MIT, Cambridge, MA, USA.d Data Science Program, Dana-Farber Cancer Institute, Boston, MA, USA.e Department of Biomedical Informatics, Harvard Medical School, Boston, MA, USA.f Harvard-MIT Health Sciences and Technology (HST), Cambridge, MA, USA.g Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology (MIT), Cambridge, MA, USA.h Department of Computer Science, Harvard University, Cambridge, MA, USA.i Harvard Data Science Initiative, Harvard University, Cambridge, MA, USA.*发表期刊：Cancer Cell, 2022, 40(10): 1095-1110.论文简介：在肿瘤学中，会从多种模态中获取患者状态的特征，如放射学、组织学和基因组学到电子健康记录。 当前的人工智能 (AI) 模型主要在单一模态下运作，忽略了更广泛的临床背景，这不可避免地削弱了它们的潜力。不同数据模态的融合为提高诊断和预后模型的稳健性和准确性提供了机会，使人工智能更接近临床实践。人工智能模型还能够发现适用于解释患者结果或治疗抵抗差异的模态内和模态间的新模态。从这些模型中收集的知识可以指导探索性研究，并有助于发现新的生物标志物和治疗靶点。为了支持这些进步，我们在此简要介绍了用于多模态数据融合和关联发现的 AI 方法和策略。我们概述了 AI 可解释性的方法和通过多模态数据互连进行 AI 驱动探索的方向。我们研究了在临床使用中的挑战并讨论新兴的解决方案。研究方向：多模态数据融合(综述)
下载