自我引导和特征引导增强的小样本分割网络

摘要

小样本分割的一个关键要素是有效利用支持集中的信息.以往的方法大都通过掩码平均池化获取全局特征向量，这种方式获取的特征向量比较粗糙.设计了一种基于高层特征的自我引导模块（HSGM）来增强特征向量的质量；为了充分利用支持图像中的信息以及查询特征和支持特征间的相关性，设计了一种特征引导增强模块（FGEM）,利用高层特征来引导低层特征得到强化的查询特征.这两个模块能够有效地挖掘支持图像中的上下文信息以及支持特征与查询特征之间的潜在相关性.针对以往k-shot分割大都是对特征向量进行平均融合，设计一种类注意力机制的分割策略来融合不同样本的信息.提出的自我引导和特征引导增强的小样本分割网络在PASCAL-5ⁱ和COCO-20ⁱ两个公共数据集上与近年来部分优秀方法进行实验对比，均取得较为先进的效果.实验结果表明所提出方法对挖掘支持样本中的信息以及提高小样本分割性能有较大帮助.

关键词

小样本学习 / 小样本语义分割 / 注意力机制 / 特征引导

基金资助

国家自然科学基金项目(12071126)资助; 湖南省教育厅科学研究重点项目(23A0081)资助