强化音符位置及方向先验信息的多音光学乐谱识别

摘要

由于同一个时刻包含多个音符的多音乐谱其音符符头距离近、符号间依赖关系复杂，使得多音光学乐谱识别极具挑战．传统基于卷积和序列建模的方法，由于经典卷积存在移不变性难以精确表示音符的纵向位置信息，而传统针对上下文序列建模的方法难以有效表征调号中变音记号与五线谱内符头的空间相关性，存在符头音高识别不准、变音记号作用范围有限的问题，从而影响音符音高、时值标注的准确性．针对以上问题，提出了一种强化音符位置及方向先验信息的多音光学乐谱识别方法．首先，提出一种纵向位置编码方法，将纵向位置信息嵌入乐谱图像，以更精确地表示符头的纵向位置信息，从而能明确区分多音乐谱中的不同音高．其次，提出了变音记号位置注意力，以明确建立变音记号和符头的空间依赖关系．最后，针对多音符头纵向分布、音符序列横向排列、音符符头、符干和符尾呈现的局部方向性特点，提出了方向注意力模块，更好地捕捉音符特征分布的方向性．在多音乐谱数据集上开展实验，实验结果表明，该方法对时值识别的符号错误率为1.14%，对音高识别的符号错误率为2.14%．与当前基准方法卷积递归神经网络相比，该方法时值识别的符号错误率降低了0.67%，对音高识别的符号错误率降低了1.14%，对多音乐谱具有良好的识别效果．

关键词

光学乐谱识别 / 位置编码 / 位置注意力 / 方向注意力

基金资助

国家自然科学基金资助项目(62071323); 天津市自然科学基金资助项目(23JCZDJC00020)