基于中医舌图的多层次特征融合中医体质辨识研究

摘要

目的 融合舌诊图像与文本描述的多模态特征，构建一种层次化融合的深度学习模型，实现中医体质辨识。方法 利用大型预训练语言模型生成对应的舌诊文本描述，构建包含945个样本的多模态舌诊数据集。采用ResNet50提取舌诊图像特征，结合BERT编码文本语义信息，构建分层融合模型TCM-DFM，在低维特征空间采用门控机制实现视觉-语义自适应加权，在高维语义空间利用跨模态注意力建立病理特征关联，通过动态决策融合机制整合单模态与多模态预测结果。在包含六类中医体质标签的数据集上，对比早期融合、晚期融合等基线方法，以准确率、精确率、召回率、F1值、混淆矩阵等指标评估模型性能。结果 TCM-DFM模型的体质辨识准确率、精确率、召回率、F1值分别为84.52%、82.54%、84.52%、83.39%，在各项指标上均优于对比模型。多模态融合方法对比中，GCAF准确率达83.33%，较最佳单模态模型提升23.81%。消融实验证实门控机制与注意力模块的协同贡献。可视化分析表明模型聚焦舌体轮廓关键区域，符合中医望舌形诊断逻辑。结论 本文模型有效融合舌诊图像与描述文本信息，克服了单模态分析及传统融合方法的局限性，提升了体质分类准确率，进一步验证了舌象特征在中医体质辨识中的关键作用。

关键词

中医体质辨识 / 多模态融合 / 深度学习 / 注意力机制 / 门控机制