面向音乐舞台环境的事件成像与场景重建方法

摘要

音乐舞台常伴随强弱光交替、极低照度等复杂环境，这对传统相机的成像构成挑战.事件相机凭借其微秒级响应、高动态范围与抗运动模糊的特性，可弥补这一缺陷.事件相机仅输出场景的异步事件流，其数据需通过重建算法才能转化为易于理解的图像.为此，本文针对音乐舞台场景的特殊性，设计了一种面向音乐舞台的事件成像与场景重建方法.在获取舞台场景的事件流数据后，方法首先采用事件与帧特征融合模块实现上下文特征及结构特征的融合，同时采用分解核卷积光流估计器解决大位移场景中特征匹配信息缺失的问题，提高光流估计的准确性；在此基础上，设计通道与像素双注意力模块来提升重建网络的噪声抑制能力.本文采集了钢琴、古筝等器乐的舞台演奏事件数据，并从抗运动模糊、高动态范围与低光照3个方面对重建算法进行了验证评估.实验表明，本文方法相较现有方法能实现更高质量的重建.消融实验也验证了所采用模块的有效性.

关键词

舞台光照环境 / 事件相机 / 光流估计 / 图像重建 / 注意力机制

基金资助

湖南省哲学社会科学基金项目(20YBQ075)资助