阿尔茨海默病（AD）作为最常见的痴呆类型，给患者及其家庭带来了巨大的负担。传统的深度学习方法在处理阿尔茨海默病评估中的多种模态数据时，通常采用不同的方法，缺乏一个连贯且相互关联的分析框架。
近日，浙江大学公共卫生学院健康科学大数据系和浙江大学医学院附属第二医院临床大数据与分析中心李文渊研究员团队，及东北师范大学数字与统计学院联合开展了一项重要研究，相关成果近期发表于国际知名期刊Computers in Biology and Medicine，该项研究深入探讨了一种基于转换器的阿尔茨海默病评估统一多模态框架。
在这项研究中，研究团队提出了一种名为AD-Transformer的新型统一深度学习模型。该框架能够无缝融合来自阿尔茨海默病神经影像学计划（ADNI）数据库的多种数据类型，涵盖了1651名受试者的结构磁共振成像（sMRI）、临床记录和遗传信息。为了有效地处理这些多样化的数据，团队采用了以下策略：首先，针对sMRI图像数据，研究团队对所有的结构磁共振成像（sMRI）扫描进行了统一的预处理操作，包括重新校准扫描轴、去除颅骨、组织分割、空间标准化和图像强度归一化等步骤，以确保数据的一致性和准确性。 在数据预处理阶段，引入了Patch-CNN块，这一技术能够高效地将连续的图像信息分割为一系列离散的图像标记（patches），每个标记都蕴含了图像局部区域的关键特征。其次，对于临床和遗传等非图像数据，团队设计了一套线性投影层，这些层能够将原始的非结构化数据映射到一个高维特征空间中，进而生成与非图像数据相对应的标记。这些标记与图像标记在形式上保持一致，便于后续的统一处理。在AD-Transformer的核心部分，团队部署了Transformer块，以获得用于疾病预测的整体多模态表示。此外，还采用了分类头 (Classification Head) 对来自Transformer模块生成的矩阵进行进一步处理，用于将特征映射到类别空间，产生概率分布。
实验结果显示，AD-Transformer在阿尔茨海默病诊断和轻度认知障碍（MCI）向阿尔茨海默病转化预测方面取得了显著的成绩。AD-Transformer 为 AD 诊断和轻度认知障碍 （MCI） 转换预测树立了新标杆，分别实现了 0.993 和 0.845 的显着平均曲线下面积 （AUC） 值，超过了传统的纯图像模型和非统一多模态模型。实验结果证实了 AD-Transformer 作为 AD 诊断和 MCI 转换预测的有效工具的潜力。通过提供一个统一的框架来共同学习图像和非图像数据的整体表示，AD Transformer 为更有效和精确的临床评估铺平了道路，为在对抗 AD 的战斗中利用不同的数据模式提供了一种临床适应性策略。
