基于SAM分割的交互式局部图像风格迁移方法研究

摘要

针对目前局部图像风格迁移目标区域选择困难、迁移灵活性不足、容易出现内容泄露、前景与背景边缘过渡不自然等问题，提出一种基于任意分割模型（Segment Anything Model, SAM）的交互式局部图像风格迁移方法。首先利用SAM分割网络在用户输入提示的指导下对输入的内容图像进行交互式目标迁移区域提取，对得到的有效对象掩码进行二值化处理，以二值化掩码提取全局风格化图像的目标区域作为前景、内容图像作为背景图像进行泊松融合，实现局部图像风格迁移。为了避免迁移过程中的内容泄露，全局风格迁移网络采用生成对抗网络架构，通过多级自适应注意力归一化模块进行风格特征转换，利用联合损失函数对网络进行综合训练。实验结果表明，设计的交互式局部图像风格迁移网络能够根据用户提示生成灵活可控的局部迁移结果，可以对图像中的任意物体进行风格迁移，迁移结果很好地保留了内容源图像中的内容结构，避免了内容泄露，且前景与背景边缘过渡更加自然。

关键词

局部图像风格迁移 / 任意分割模型 / 全局风格迁移 / 泊松融合 / 自适应注意力归一化

基金资助

山西省研究生创新资助项目（2023SJ012）; 山西省高等学校教学改革创新资助项目（J2021086）