基于多模态信息融合的帕金森病诊断方法研究

摘要

基于深度学习的计算机辅助诊断技术，作为一种提升帕金森病筛查和门诊诊断准确性的重要工具，已经引起了广泛关注。针对传统研究中单模态分类效果欠佳、公开数据集普适性不强以及样本量有限等问题，本文提出了一种创新的多模态信息融合方法，用于帕金森病的诊断。该方法通过分析患者在自然交流状态下记录的面部表情、语音和个体属性信息等多源异构数据，进行疾病预测。本研究的创新点在于利用多模态预训练模型来提取鲁棒性的表情和频谱特征，并通过精心设计的DenseConv模块增强多模态表征能力。此外，本研究进一步将个体属性信息（年龄和性别）纳入多模态表征学习框架，设计了一个跨模态渐进层次融合模块，该模块通过采用自注意力机制，实现了表情、频谱特征与个体属性信息的高效融合，进而降低了不同模态特征之间潜在的模态差异，从而显著提升了模型的泛化性和鲁棒性。在构建的真实临床帕金森病诊断数据集上的实验结果表明，本文方法具有卓越的性能，准确率和F1-Score度量指标分别达到了84.4%和84.0，为帕金森病的大规模、普适性和便捷性筛查提供了有力支撑。

关键词

帕金森 / 多模态融合 / 预训练大模型 / 渐进层次融合 / 跨模态