机器视觉注意力机制研究综述

摘要

概述机器视觉注意力机制的研究背景、发展中的显著工作及原理，综述软注意力机制中空间注意力机制、通道注意力机制、混合注意力机制和硬注意力机制，讨论Transformer的模型，并在分析各类改进模型的思路及特点的同时重点梳理了近3年的研究动态，最后探讨了注意力机制的在超参数优化、胶囊网络、神经架构搜索、多模态方面的潜在研究方向的应用展望.

关键词

深度学习 / 注意力机制 / 软注意力机制 / 硬注意力机制 / 空间注意力机制 / 通道注意力机制 / 混合注意力机制