GLIHamba:基于Mamba的整体–局部上下文图像和谐化

摘要

近年来，包含Transformer组件的深度学习模型已经推动了包括图像和谐化在内的图像编辑任务的快速发展.与使用静态局部滤波器的卷积神经网络(CNN)相反，Transformer使用自注意力机制允许自适应非局部滤波来敏感地捕获远程上下文.现有基于CNN和Transformer等方法图像和谐化方法，未能很好的兼顾局部内容和整体风格的一致性，导致前景与背景的视觉一致性不足.本文提出了一种用于图像和谐化的新型网络模型，基于Mamba的整体–局部上下文图像和谐化（Globallocal context image harmonization based on Mamba,GLIHamba），将全局特征和局部特征引入到Mamba模型，建立具有整体–局部上下文感知能力的图像和谐化模型.具体来说，介绍了一种新的基于学习的图像和谐化模型GLIHamba，其核心组件包括局部特征序列提取器(LFSE)和全局特征序列提取器(GFSE). LFSE维护图像高维特征中相邻特征的局部一致性，显式地确保空间上邻近的特征沿着通道保持一致性，从而保证和谐化结果的局部内容完整一致.另一方面，GFSE在所有空间维度上建立全局序列，保持图像的整体风格一致性.研究结果表明，GLIHamba提供了优于最先进的基于CNN和Transformer的方法的性能.

关键词

图像和谐化 / 状态选择空间模型 / 图像编辑 / Mamba模型 / 全局–局部特征提取

基金资助

国家自然科学基金资助项目（62332017,62306032,U22A2022）; 广东省自然科学基金资助项目（2023A1515030177,2022A1515110350）