多尺度注意力引导的图像卡通化研究

摘要

为解决图像卡通化过程中对目标图像的卡通风格学习效果不突出导致生成图像的卡通化不明显和边缘不够清晰的问题，提出一种双编码对抗学习和多尺度膨胀融合注意力机制的图像卡通化方法。采用双编码器结构分别处理内容图像和风格图像，使内容和风格特征能够被独立提取和处理，从而减少风格化过程中内容的丢失或变形。多尺度膨胀融合注意力机制通过不同膨胀率强调图像中重要的区域和细节，如色彩、边缘等显著特征，确保生成的卡通图像在重要区域(如阴影部分、轮廓线条等)保留更多的细节信息，而非被颜色或纹理等其他特征所掩盖。为了更好地保证生成图像的边缘清晰度，设计边缘检测模块，通过对边缘区域进行计算使生成的卡通图片在细节上更清晰。实验结果表明，与Cartoongan、CTSS等卡通化方法相比，采用所提出方法计算得到的FID值更低，可获得更好的卡通风格化效果，验证了其有效性。

关键词

图像卡通化 / 注意力机制 / 边缘检测 / 风格迁移

基金资助

重庆市基础研究与前沿探索专项(重庆市自然科学基金)一般项目(CSTB2022NSCQ-MSX0786); 教育部人文社科规划基金项目(24YJA870003)