针对遥感拍摄目标角度变化导致图像中的检测目标尺度多样且密集分布难以准确检测的问题,提出一种多元分支融合自注意力(Multi Branch Fusion Self-Attention,MFS)的遥感图像目标检测算法。该算法先设计由卷积和自注意力机制组成的多分支模块,形成特征提取网络,再建立针对小物体的第4个检测头,旨在融合不同尺度的特征。同时,利用DepGraph剪枝方法进行剪枝,降低参数规模使其轻量化。实验结果表明,所提算法在航拍图像(Dataset for Object deTection in Aerial Image,DOTA)数据集和NWPU VHR-10(Northwestern Polytechnical University Very High Resolution-10)数据集的平均准确率分别为77.7%和96.5%,优于同等参数规模的检测算法。特别是在剪枝后,参数规模仅有6.64M的情况下,所提算法对DOTA数据集检测精度可以保持在72.9%。