基于中医舌图的多层次特征融合中医体质辨识研究

杨磊, 王天舒, 杨涛, 胡孔法

南京中医药大学学报 ›› 2026, Vol. 42 ›› Issue (04) : 627 -636.

PDF
南京中医药大学学报 ›› 2026, Vol. 42 ›› Issue (04) : 627 -636. DOI: 10.14148/j.issn.1672-0482.2026.0627

基于中医舌图的多层次特征融合中医体质辨识研究

    杨磊, 王天舒, 杨涛, 胡孔法
作者信息 +

Author information +
文章历史 +
PDF

摘要

目的 融合舌诊图像与文本描述的多模态特征,构建一种层次化融合的深度学习模型,实现中医体质辨识。方法 利用大型预训练语言模型生成对应的舌诊文本描述,构建包含945个样本的多模态舌诊数据集。采用ResNet50提取舌诊图像特征,结合BERT编码文本语义信息,构建分层融合模型TCM-DFM,在低维特征空间采用门控机制实现视觉-语义自适应加权,在高维语义空间利用跨模态注意力建立病理特征关联,通过动态决策融合机制整合单模态与多模态预测结果。在包含六类中医体质标签的数据集上,对比早期融合、晚期融合等基线方法,以准确率、精确率、召回率、F1值、混淆矩阵等指标评估模型性能。结果 TCM-DFM模型的体质辨识准确率、精确率、召回率、F1值分别为84.52%、82.54%、84.52%、83.39%,在各项指标上均优于对比模型。多模态融合方法对比中,GCAF准确率达83.33%,较最佳单模态模型提升23.81%。消融实验证实门控机制与注意力模块的协同贡献。可视化分析表明模型聚焦舌体轮廓关键区域,符合中医望舌形诊断逻辑。结论 本文模型有效融合舌诊图像与描述文本信息,克服了单模态分析及传统融合方法的局限性,提升了体质分类准确率,进一步验证了舌象特征在中医体质辨识中的关键作用。

关键词

中医体质辨识 / 多模态融合 / 深度学习 / 注意力机制 / 门控机制

Key words

引用本文

引用格式 ▾
基于中医舌图的多层次特征融合中医体质辨识研究[J]. 南京中医药大学学报, 2026, 42(04): 627-636 DOI:10.14148/j.issn.1672-0482.2026.0627

登录浏览全文

4963

注册一个新账户 忘记密码

参考文献

AI Summary AI Mindmap
PDF

2

访问

0

被引

详细

导航
相关文章

AI思维导图

/