UGA-SR:融合U-Net与GAN的加速度计语音恢复模型

摘要

本文提出了一种基于安卓设备内置加速度传感器的语音恢复模型UGA-SR,展示了利用加速度传感器进行语音恢复的可行性.该模型结合生成对抗网络和改进的U-Net架构，引入多尺度卷积的空间注意力模块，优化特征提取和信号重构，将预处理的加速度信号转换为梅尔频谱图，以生成高质量语音信号.在自制6位数字验证码数据集和公开开放词汇数据集的实验中，UGA-SR在限定词汇任务中的语音恢复清晰度指标达到0.731,能够被语音识别系统准确识别；在开放词汇任务中，尽管难度较高，模型仍有效恢复了低频和高频特征，清晰度指标为0.553.实验结果表明，UGA-SR在语音恢复任务中具有显著优势，为从加速度信号到语音的跨模态转换提供了新思路.

关键词

加速度传感器 / 安卓系统 / 语音恢复 / 对抗神经网络 / 注意力机制

基金资助

国家自然科学基金面上项目(52275535)资助; 江苏省高等学校自然科学研究重大项目(22KJA520010)资助; 江苏省研究生科研与实践创新计划项目(SJCX25＿0348,SJCX24＿0318)资助; 浙江大学CAD&CG国家重点实验室开放课题项目(A2118)资助; 南京邮电大学研究生教育教学改革课题项目(JGKT23＿XJ07)资助