澳门科技大学医学院副院长张康讲座教授联同四川大学华西医院、香港大学、珠海市人民医院等机构的研究人员组成研究团队在知名学术期刊Nature Biomedical Engineering发表文章“A transformer-based representation-learning model with unified processing of multimodal input for clinical diagnostics”，率先提出了一个基于人工智能的多模态融合肺部影像医疗诊断模型。文章通讯作者为张康、李为民、王成弟、俞益洲。
在医学临床实践中，医生通常需要综合考虑多种不同模态的医学信息来做出诊断，比如病人病历、血液检查、影像报告等等。这种综合分析能力需要医生有丰厚的医学专业知识和长期临床实践经验，但在现有医疗环境中，专业的医生数量远远不能满足病人日益增长的医疗健康需求。目前人工智能技术飞速发展，如果能利用人工智能获得这种综合分析的能力从而辅助医生进行诊断，将极大提高医疗效率和缓解医疗资源短缺的问题。
基于人工智能的医学图像诊断近年来取得了很大的进展，电脑已经能从单纯的医学图像中识别出病灶区域、或者做出初步的诊断。但如何让计算机将医学图像及其相关的临床信息综合起来进行解读仍是一个较大的难题。目前的多模态医学信息分析系统大多采用非统一的方式来结合不同类型的信息，这样的设计有一个明显的限制：无法建立和理解不同模态信息之间的关系，因而此类模型并不具备严格意义上的综合分析能力。
为解决上述关键问题，澳科大张康讲座教授和合作团队开发了一个统一的基于人工智能的医疗诊断模型，IRENE。该模型包含了统一的数据输入处理模块和双向的跨模态注意力机制块，旨在通过共同学习不同信息间的整体特征和其关联性来做出决策。该模型可以有效整合医学图像、非结构化的病历信息和实验室检测数据，运用统一的跨模态分析流程，实现综合处理不同数据，从而做出融会贯通、更为准确的判断。
张康讲座教授说：「团队将统一模型应用到了识别肺部疾病和预测新冠不良临床症状上。相较于只使用图像的模型和非整合的多模态诊断模型，在识别肺部疾病方面的准确率分别提升了12%和9%，在预测新冠患者的不良临床结果方面提升了29%和7%。此外在与人类医生的对比中，模型已取得与中年资医生以上的诊疗水准。团队通过对模型的可视化分析，也发现了不同信息之间的关联，为计算机诊断的合理性提供了依据」。
据我们所知，IRENE是第一个使用统一的人工智能模型对多模态临床信息同时进行整体表征学习的医学辅助诊断方法，为缓解医疗资源紧张提供了有力工具，同时也为后续以医学人工智能整合任何多模态信息提供了新的思路。此项研究得到澳门科学技术发展基金的支持。
有关研究论文，可浏览Nature Biomedical Engineering连结： https://www.nature.com/articles/s41551-023-01045-x
