手工提取的视觉特征与深度特征的融合模型用于消化性溃疡再出血风险分级

摘要

目的 提出一种基于电子内镜图像的多特征融合模型，结合深度学习与手工特征的优势，用于消化性溃疡再出血风险的分级。方法 根据溃疡的内镜表现，提取颜色特征以区分活动性出血（Forrest Ⅰ）与非出血溃疡（Forrest Ⅱ、Ⅲ），并利用边缘和纹理特征描述不同级别溃疡的形态与外观。通过融合深度学习网络提取的深度特征与手工提取的视觉特征，形成电子内镜图像的多特征表达，最终用于预测消化性溃疡的再出血风险。结果 在包含708例患者、3573张图像的Forrest分级数据集上，提出的多特征融合模型在消化性溃疡再出血风险六分级任务中取得了74.94%的准确率，优于进修医生59.9%的分级准确性（P<0.05）。在Ⅰb、Ⅱa和Ⅲ级溃疡的识别中，F1得分为90.16%、75.44%和77.13%，其中Ib级表现尤为突出。与首个进行溃疡再出血分级研究的模型相比，提出模型的F1得分提升了5.8%。在简化的3类风险分级任务中，模型在高风险、低风险和无需内镜治疗级别上的F1得分为93.74%、81.30%和73.59%。结论 本文提出的多特征融合模型有效融合卷积神经网络（CNN）提取的深度特征与手工提取的视觉特征，提升了消化性溃疡再出血风险分级的准确性，为临床提供了高效的诊断辅助工具。

关键词

电子内镜图像 / 多特征融合 / 消化性溃疡 / Forrest再出血风险分级