多尺度时空频注意残差融合的听觉注意解码网络

摘要

针对现有脑电听觉注意力解码方法在捕捉多尺度时间特征与频空信息方面的不足，提出一种多尺度时空频注意残差融合网络。该网络包括3个核心模块：多尺度时空特征交互网络能够提取脑电信号中的多尺度时间模式并捕获长短距离时空依赖关系；频率注意力残差网络通过级联的频率注意力残差块与3维卷积的协同架构，提取并融合多频带频谱空间特征；特征融合分类模块综合时空与频空特征进行分类。实验结果表明，1 s决策窗口下，所提网络在听觉注意检测数据集和听觉注意解码的脑电和音频数据集上的解码准确率分别达到99.1%和92.1%,较基线卷积神经网络分别提高17.8%和45.5%,这一显著提升验证了其在听力障碍辅助诊断及神经导向助听设备研发等领域的重要应用价值。

关键词

脑电信号 / 听觉注意力解码 / 多尺度 / 频率注意 / 残差网络