基于交叉注意力的病灶区域感知网络用于多视角痤疮图像分级

摘要

痤疮自动分级可以帮助皮肤科医生为患者制定针对性的治疗方案，然而现有的研究主要集中在单视角面部图像上，这可能无法覆盖完整的面部信息.同时一些方法对痤疮病灶缺乏足够的关注，导致分级准确率不理想.针对这些问题，本文提出了一种基于交叉注意力的病灶区域感知网络（LRPN）用于多视角痤疮图像分级，它由多视角特征融合（Multi-view Feature Fusion, MFF）模块和病灶区域感知（LRP）模块组成.具体来说，多视角特征融合模块通过使用交叉注意力（Cross-Attention）融合不同视角之间的特征，在增强互补信息的同时减少特征之间的冗余.在病灶区域感知模块中，通过多感知机制（Multi-perception Mechanism）识别特征图中的痤疮病灶特征.这一改进增强了模型对痤疮病灶的关注，同时无须额外的位置标签信息.在所收集的多视角痤疮分级数据集MVACNE以及公开数据集ACNE04和ISIC2016上进行了广泛的实验.结果表明：所提出的方法具有良好的分级效果，并且能够很好地进行多视角特征融合以及病灶区域感知.

关键词

痤疮分级 / 医学图像处理 / 注意力 / 多视角特征