融合临床与超声图像多模态数据的深度学习模型评估脂肪肝分级

蒙文仪; 姚欣蕊; 李任杰; 彭键清; 徐作峰

中山大学学报（医学科学版） ›› 2026, Vol. 47 ›› Issue (3) : 528 -538.

蒙文仪, 姚欣蕊, 李任杰, 彭键清, 徐作峰

作者信息 +

Author information +

文章历史 +

摘要

【目的】本研究旨在融合多种易获取的临床数据与二维常规超声图像，构建用于评估脂肪性肝病（SLD）不同严重程度的深度学习神经网络模型。【方法】回顾性收集649例行超声衰减成像（ATI）检查患者的临床数据和超声图像，以ATI作为参考标准，将患者分为正常（S0）及轻（S1）、中（S2）、重度（S3）脂肪肝4组，按8∶2比例随机划分为训练集和验证集。采用对比语言-图像预训练（CLIP）模型提取临床与图像多模态特征，并分别训练随机森林（RF）和多层感知器（MLP）模型。在验证集中对比多模态模型与单一模态的诊断性能。【结果】与RF模型相比，MLP模型表现更优[AUC(95%CI):S0=0.96(0.93～0.99),S1=0.99(0.96～1.00),S2=0.75(0.64～0.82),S3=0.88(0.81～0.93)]。相较于单模态模型[仅临床数据AUC(95%CI):0.89(0.81～0.95)、0.69(0.52～0.79)、0.64(0.43～0.67)、0.80(0.73～0.90)；仅图像数据AUC(95%CI):0.91(0.86～0.96)、0.89(0.67～0.89)、0.69(0.58～0.78)、0.86(0.82～0.94)]，图像-临床数据融合模型在各分级上均表现出显著更优的性能。精确率、召回率、F1分数、F2分数、混淆矩阵与损失函数学习曲线进一步证实，多模态数据融合可显著提升整体训练与预测效果。【结论】本研究构建的基于CLIP的MLP多模态分类模型可有效实现脂肪肝严重程度的自动分级，证实了融合临床与超声数据在脂肪肝精准分级的显著优势，为慢性脂肪肝病的临床管理提供准确、可靠的辅助评估工具。