面向丰富曲调要素的影视配乐生成模型

BM-Transformer： a generative model for film and television soundtracks enriched with melodic elements

摘要

多模态模型在生成语言、视频和乐曲等任务上表现出极大的潜力，然而在面向丰富曲调要素的背景音乐生成任务上仍面临着情感一致性和专业引导等问题。本文提出多维交互引导和时间比例编码，在音乐表达复合词中嵌入情感标签、韵律密度和韵律强度，生成具有多维交互特性的音乐向量表示。设计具备视频与音乐的节奏和谐对应的影视配乐生成模型，并给出相应的非配对数据驱动的模型网络训练方法。提出的“创作者-观众”双视角评估策略，可以更全面地评估模型的交互性和配乐效果。实验结果表明，该模型在客观评价指标上提高20.6%，推断效率由0.125提升至14.370，并且在主观评价指标上也有明显优势。

Abstract

Multimodal models show great potential in tasks such as generating language， video， and musical scores. However， they still face problems such as emotional consistency and professional guidance for background music generation tasks oriented toward rich melodic elements. In this paper， we propose multidimensional interaction guidance and temporal scaling encoding to generate music vector representations with multidimensional interaction properties by embedding emotion labels， rhythmic density， and rhythmic intensity into music expression compound words. We design the background music transformer （BMT）， a model for generating film and television soundtracks with rhythmic and harmonic correspondence between video and music， and provide a corresponding unpaired data-driven network training method for the model. We propose a “creator-audience” dual-view evaluation strategy to evaluate the interactivity and soundtrack effect of the model in a more comprehensive way. The experimental results show that the BMT model improves the objective evaluation index by 20.6%， and the model inference efficiency increases from 0.125 to 14.370， and also has obvious advantages in subjective evaluation index.

多模态深度学习网络模型在语言、视频和音乐等领域中表现出潜在的优势。例如，Sora^［1］基于对物理世界存在方式的深刻理解和对语言的精准把握，能够根据用户的提示生成具有复杂场景、多角色、特定运动类型以及主题和背景细节的无声视频。MusicLM^［2］与Noise2music^［3］能根据文本提示创作各种类型和风格的高保真原创音乐。MusicGen^［4］和ChatGPT^［5］能够从文本描述或旋律中获取线索创作高质量的音乐。尽管这些大型模型在其各自的领域内展示了令人瞩目的能力，但它们在处理视频内容并生成与之匹配的背景音乐时仍然存在明显的局限性。主要表现为缺乏理解视频与音乐一致情感表达的能力^［6］，以及在音乐创作过程中缺乏专业配乐知识的引导。

音乐、画面和情绪之间存在着一致性效应已被心理学研究证实^［7］。影视作品的内容与背景音乐和谐统一，是感染观众的重要条件^［8］，采用与电影画面相同情感表达的音乐，能快速唤起观众情绪，引发观众共鸣^［9-10］。但现有的视频配乐生成模型忽略了视频内容与生成音乐情感之间的协调一致性。例如可控音乐转换器模型 （controllable music transformer， CMT）^［11］主要关注视频与音乐之间的节奏匹配，未能有效利用对应关系来增强情感表达或激发观众情感共鸣。理想的背景音乐应与影视内容具备相同的情感倾向^［12-13］，这一点在现有研究中尚未得到足够重视，也是本文试图解决的关键问题之一。

实现人工专业引导与深度神经网络自动创作之间的平衡，对于个性化和创新性音乐生成至关重要^［14-15］，恰当的人机交互指导能确保模型既能理解创作者的意图，又能充分发挥其创造潜力^［16］。然而现有的背景音乐生成方法在人工引导控制上较为单一，未能充分考虑音乐情感、节奏、速度、乐器等多维度交互控制。例如CMT^［11］和双线性转换器模型（double linear transformer， DLT）^［17］虽然提供了与视频节奏的交互参数，但未包括对音乐的情感、演奏速度、节奏提取方式以及演奏乐器等关键因素的控制，限制了音乐生成的多样性和适应性。

评估背景音乐的有效性应综合考虑多种要素，包括音乐客观质量、音乐创作者使用体验，以及观众的主观体验^［18］。现有评估方法侧重于音乐客观质量评价，例如Wu和Yang^［19］提出的音乐客观评价指标，从音乐旋律、结构方面评估模型生成的背景音乐，但不能衡量音乐与原视频的兼容性。现有工作虽从观众角度评价音乐旋律和谐性及结构丰富性^［11］，却忽视了创作者的使用体验。考虑到背景音乐的成功在于创作者与观众的共同解读^［18］，单一视角的评估方法难以全面反映背景音乐在视频中的实际应用效果。因此，纳入创作者视角的评估显得尤为重要。

针对上述问题，论文做了以下贡献：

1）设计多维交互引导及时间比例编码 （timing， Tim）。在复合词表示^［20］中引入情感标签 （emotion， Emo）、韵律密度 （R-Density， R-Den）、韵律强度（R-Strength， R-Str）以及时间比例编码信息。实现对视频节奏强度阈值、演奏速度、情感与演奏乐器等多维度的交互式专业引导生成。

2）提出面向丰富曲调要素的影视配乐生成模型（background music transformer， BMT）。设计非成对数据驱动方法，采用视觉节奏节拍模型 （visual rhythm and beat， Visbeat）^［21］建立视频与音乐的节奏对应关系。使用节奏、显著性阈值进行局部控制，以情感类别和使用的乐器进行全局控制。

3）提出“创作者-观众”双视角定性主观评估策略。引入创作者“情感匹配度”和“创作满意度”指标，拓展背景音乐主观评估的维度，提升了评估过程的全面性和深度。

模型效果展示见Github：https：//github.com/binghuang21/BM-Transformer.git。

1 问题定义

背景音乐生成任务接收2类输入：视频文件V和一组人工交互参数\mathit{X}=\left\{x_{\mathrm{1}},x_{\mathrm{2}},···,x_N\right\}，目标是通过模型预测生成对应的音频\mathit{Y}。此任务可以被定义为序列到序列的建模问题，目的是训练生成模型g\left(\cdot \right)，实现从视频V到背景音乐\mathit{Y}的自动转换，最终模型性能通过主客观指标综合评估。符号说明参见表1。

1.1 训练数据预处理

训练阶段数据预处理的任务是：将原始音乐文件转换为适合机器学习模型处理的格式^［22-23］，主要涉及音乐信息的解析和结构化表示。这一过程包括读取MIDI文件、解析MIDI事件、时间量化以及事件转换为复合词^［20］。数据预处理过程如图1所示。

首先使用适当的库（如Python的miditoolkit库^［24］）读取MIDI文件。之后解析MIDI为事件，将它们转换为相应的数据结构，以便进一步处理。

进行时间的量化处理：将MIDI事件的时间信息量化到最近的固定时间步长，统一事件发生的时间标准。

最后，将量化后的MIDI事件转换为复合词^［20］，每个事件都与一个特定的时间步长相关联，以便生成模型能够更有效地学习和生成音乐结构。

通过这一系列数据预处理步骤，原始文件被转换为更适合模型学习和处理的格式，为背景音乐生成奠定数据基础。

1.2 模型优化目标

在训练阶段，具体而言，有一组训练音乐序列

\mathit{D}=\left\{\begin{array}{c}\left.{\mathit{Y}}^{(\mathrm{1})},{\mathit{Y}}^{(\mathrm{2})},\cdots ,{\mathit{Y}}^{(n)}\right\}\end{array}\right.，（1）

其中

{\mathit{Y}}^{(i)}=\left\{c_{\mathrm{1}}^{(i)}\begin{array}{c}\left.,y_{\mathrm{2}}^{(i)},y_{\mathrm{3}}^{(i)},c_{\mathrm{4}}^{(i)},y_{\mathrm{5}}^{(i)},\cdots ,y_{T_i}^{(i)}\right\}\end{array}\right.（2）

是第i个训练序列；c_j^{(i)}为第i个训练序列中的音乐控制属性，包含音符、韵律、情感、和弦等，作为后续背景音乐生成引导属性。任务目标是训练一个生成模型g\left(\cdot \right)，使得它能够最大化训练数据的似然性^［22］，即

\underset{\theta }{\mathrm{m}\mathrm{a}\mathrm{x}}{\sum }_{i=\mathrm{1}}^{n}log{p}_{\theta }({\mathit{Y}}^{(i)})，（3）

其中，\theta是模型参数，p_{\theta }({\mathit{Y}}^{(i)})是模型对第i个训练序列的概率。

1.3 模型使用和评价方法

预测阶段，生成模型g\left(\cdot \right)根据开始标记生成序列\widehat{\mathit{Y}}

\widehat{\mathit{Y}}=\left\{{\widehat{c}}_{\mathrm{1}}\begin{array}{c}\left.,{\widehat{y}}_{\mathrm{2}},{\widehat{y}}_{\mathrm{3}},{\widehat{c}}_{\mathrm{4}},{\widehat{y}}_{\mathrm{5}},\cdots ,{\widehat{y}}_{T_i}\right\}\end{array}\right.，（4）

由专家知识，设计将视频帧V转换为视频控制信息序列\mathit{C}的数据预处理模块f\left(\cdot \right)

\mathit{C}=f\left(V\right)=\left\{\begin{array}{c}\left.{\nu }_{\mathrm{1}},{\nu }_{\mathrm{2}},\cdots ,{\nu }_K\right\}\end{array}\right..（5）

生成过程中，用视频控制信息序列\mathit{C}替换如式（4）所示的{\widehat{c}}_j，实现视频背景音乐的多属性可控生成。最终，情感驱动背景音乐创作效果通过音乐质量客观评估指标^［19］和本文提出的“创作者-观众”双视角评估方法进行评估。

2 多维交互引导

多维交互引导，结合韵律密度与强度控制、曲段速度调节等方法，并融入时间比例编码，以细致指导背景音乐生成过程。此设计显著提升了模型在解析视频情感倾向、节奏、演奏速度及乐器选择方面的精确度，保障了音乐叙事的完整性与流畅性。

2.1 韵律密度和韵律强度

小节韵律密度和韵律强度的提出，成为视频音乐一致节奏的桥梁。具体来说，在韵律强度方面，引入对和弦的明确定义，使模型生成更具音乐性的乐曲。在现有的可控音乐转换器^［11］中，仅将同一时间发声的音符个数定义为“模拟音符强度”，然而在实际音乐中存在常用固定的和弦结构。若模型能够有效学习音乐中和弦与旋律的相互关系，从而在音乐创作中合理生成和弦，而非盲目地学习同时刻发声的音符，将极大地降低模型在训练和预测中的计算复杂度，同时提高生成音乐的韵律性。因此，在复合词中新增对和弦属性的定义，并将和弦属性与韵律强度相连接，使得模型生成的乐曲更具音乐性。

加入和弦作为韵律属性后，将CMT^［11］中的模拟音符密度和强度优化为小节韵律密度和韵律强度，如图2所示。小节韵律密度是指一个小节中模拟音符（即同时刻演奏、非和弦的音符）与这个小节中和弦数量之和。小节韵律强度是指模拟音符中包含的同时刻演奏的音符数或和弦中包含的音符数（统一用三和弦来表示）。

为建立起视频与音乐之间的桥梁，本研究优化了视频节奏信息与韵律密度和韵律强度的对应关系。

\mathrm{R}-\mathrm{D}\mathrm{e}\mathrm{n}\mathrm{s}\mathrm{i}\mathrm{t}{\mathrm{y}}_i=\sum \left(\mathrm{w}\mathrm{e}\mathrm{i}\mathrm{g}\mathrm{h}{\mathrm{t}}_j\mathrm{t}\mathrm{h}\mathrm{r}\mathrm{e}\mathrm{s}\mathrm{h}\mathrm{o}\mathrm{l}{\mathrm{d}}_{\mathrm{u}\mathrm{s}\mathrm{e}\mathrm{r}}\right)，

\mathrm{w}\mathrm{e}\mathrm{i}\mathrm{g}\mathrm{h}{\mathrm{t}}_j\in \mathrm{b}\mathrm{a}{\mathrm{r}}_i.（6）

具体而言，韵律密度为每小节中通过Visbeat ^［21］提取到的视觉节拍数量。其中，仅统计运动显著性大于用户设定阈值的视觉节拍。如式（6），i为第i个小节，weight _j 为第i个小节中包含的每一个视觉节拍。

\mathrm{R}-\mathrm{S}\mathrm{t}\mathrm{r}\mathrm{e}\mathrm{n}\mathrm{g}\mathrm{t}{\mathrm{h}}_j=k|\mathrm{w}\mathrm{e}\mathrm{i}\mathrm{g}\mathrm{h}{\mathrm{t}}_j\mathrm{i}\mathrm{n}\mathrm{c}\mathrm{l}\mathrm{a}\mathrm{s}{\mathrm{s}}_k,k\in [\mathrm{1,10}].（7）

改进韵律强度与运动显著性之间的对应关系：仅使用显著性大于阈值的视觉节拍参与韵律强度的计算。根据训练集中强度的数量，将显著性的值范围分为10个等级，建立韵律强度与显著性的正向相关关系，从而实现从视频节奏到韵律强度的映射，如式（7）所示，k代表不同的等级。

2.2 曲段速度控制

本研究就实现人机协同生成背景音乐提出1种自动和56种手动音乐演奏速度控制策略。相比于CMT^［11］模型，本文方法的演奏速度设定更加灵活多样。第1种方式是通过Visbeat^［21］提取视频速度作为待生成背景音乐的演奏速度。第2种是手动选择演奏速度。

\mathrm{t}\mathrm{i}\mathrm{c}\mathrm{k}\mathrm{s}=\mathrm{r}\mathrm{o}\mathrm{u}\mathrm{n}\mathrm{d}\left(\frac{\mathrm{t}\mathrm{i}\mathrm{m}\mathrm{e}}{\mathrm{60}}\times \mathrm{t}\mathrm{e}\mathrm{m}\mathrm{p}\mathrm{o}\times \mathrm{4}\right)，（8）

\mathrm{b}\mathrm{a}\mathrm{r}\mathrm{s}=\mathrm{i}\mathrm{n}\mathrm{t}\left(\mathrm{t}\mathrm{i}\mathrm{c}\mathrm{k}\mathrm{s}//\mathrm{16}\right)，（9）

\mathrm{t}\mathrm{i}\mathrm{c}{\mathrm{k}}_{\mathrm{b}\mathrm{a}\mathrm{r}}=\mathrm{i}\mathrm{n}\mathrm{t}\left(\mathrm{t}\mathrm{i}\mathrm{c}\mathrm{k}\mathrm{s}\mathrm{\%}\mathrm{16}\right).（10）

视频预处理模块根据用户设定的演奏速度计算背景音乐小节数量、总单位时间数、小节中的剩余单位时间数等，分别见式（8）、式（9）和式（10）。基于每个小节所处的时间，以及对应小节中包含高于显著性阈值的视觉节拍数量，如式（6）计算得到对应小节的韵律密度。根据小节对应的时间和计算得到的韵律密度，推断音符的韵律强度，最终生成与之对应的音符和和弦。

在训练过程中，模型将学习音乐与节奏信息、情感标签之间潜在的对应关系。在推理阶段，通过上述提出的韵律密度和韵律强度与视频节奏的替换关系，可以设置期望的情感标签，并在小节和对应时间点替换相应的视频节奏信息，就能够人机协同引导模型生成与视频情感节奏和谐一致的音乐。

2.3 时间比例编码

时间比例编码是从音乐开始到当前位置的绝对时长在音乐总时长中的占比，能精确捕捉视频与音乐之间的时间比例关系，确保音乐生成过程与视频内容的叙事进度保持同步。与视频画面一样，背景音乐具备完整的“起承转合”叙事结构，简单延伸音乐至视频时长会损害其叙事完整性，导致重复、单调的旋律生成。针对此问题，引入时间比例编码，每个属性标签中都含有其对应的时间比例编码信息，用于显式说明模型生成音乐的进程。

\mathrm{t}{\mathrm{p}}_t=⌈\frac{\mathrm{C}\mathrm{u}\mathrm{r}\_\mathrm{t}\mathrm{i}\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{g}}{T}\times \mathrm{100}⌉.（11）

训练完成后，模型已经能够解析时间比例编码，即当前生成音乐时长占总时长的比例，见式（11）。将视频时间信息转化为音乐的时间比例编码，实现在全局控制音乐生成进度的效果。

2.4 复合词音乐表示

本研究的复合词加入了上述的多维交互引导。如图3所示，下侧为现有CMT^［11］的复合词表示，上侧为多维交互引导及时间比例编码复合词，包含情感信息 （emotion， E）、韵律 （metrical， M）、节奏信息 （rhythm， R）、音符 （note， N） 和序列结尾。

如图3所示，将同一属性的标签分为同一组，同一组属性颜色相同，其组名为对应列灰色块上的名称。属性有音速 （velocity， Vel）、持续时间 （duration， Dur）、音高 （pitch， Pit）、演奏节奏 （tempo， Tem）、和弦、节拍、韵律密度、强度、时间比例、情感标签等。各组属性放置于相同的时间步长上，作为模型的输入数据。每个属性中都包含一个时间比例编码（图3上侧淡紫色块），用以指示当前令牌对应时间在总时长中的位置比例。

复合词标记w_t，k 通过嵌入层转化为嵌入向量 p_t，k，w_t，k 为嵌入第t个时间步输入的标签，k为每个标签中的属性数量。之后组合 p_t，k 和时间比例编码tp _t 的嵌入向量 tq_t，形成一个含有时间比例编码的复合词嵌入向量 x_t。最后，通过线性层W_in将嵌入向量 x_t 投影到d维向量，这里d=\mathrm{512}是预定义嵌入大小的超参数。具体的计算方式如下

{\mathit{p}}_{t,k}=\mathrm{E}\mathrm{m}\mathrm{b}\mathrm{e}\mathrm{d}\mathrm{d}\mathrm{i}\mathrm{n}{\mathrm{g}}_k\left(w_{t,k}\right),k=\mathrm{1},\dots ,K，（12）

\mathit{t}{\mathit{q}}_t=\mathrm{E}\mathrm{m}\mathrm{b}\mathrm{e}\mathrm{d}\mathrm{d}\mathrm{i}\mathrm{n}{\mathrm{g}}_{\mathrm{t}\mathrm{p}}\left(\mathrm{t}{\mathrm{p}}_t\right)，（13）

{\mathit{x}}_t=W_{\mathrm{i}\mathrm{n}}\left({\mathit{p}}_{t,\mathrm{1}}\oplus \dots \oplus {\mathit{p}}_{t,K}\oplus \mathit{t}{\mathit{q}}_t\right)，（14）

{\vec{x}}_t=\mathrm{P}\mathrm{o}\mathrm{s}\mathrm{i}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}\mathrm{a}\mathrm{l}\mathrm{E}\mathrm{n}\mathrm{c}\mathrm{o}\mathrm{d}\mathrm{i}\mathrm{n}\mathrm{g}\left({\mathit{x}}_t\right).（15）

3 网络架构和训练

本文采用非配对数据训练和可控生成方法，避免使用昂贵的配对数据驱动策略。基于2.4节建立的多维交互引导及时间比例编码复合词表示，模型在训练阶段学习音乐情感、节奏、韵律、音符旋律和曲调的潜在关联。在推理阶段，用户设定情感倾向、节奏强度阈值、演奏速度和演奏乐器作为背景音乐生成的超参数，利用视频的视觉节拍数量和显著性级别替换音乐韵律密度和韵律强度信息，以时间比例编码控制音乐生成进度，实现人机协同背景音乐生成。BMT网络架构如图4所示。

3.1 数据集

为使模型学习到情感和音乐的潜在联系，选择带有情感注释的EMOPIA符号音乐情感数据集^［25］。尽管文献中存在许多带有情感标签的音乐数据集，例如使用维度情感模型存储歌曲情感感知值的 MediaEval 数据集^［26］，将情感和色彩感知与音乐联系起来的 Moodo 数据集^［27］，但是这些数据集不能用于符号域音乐生成的研究，它们只提供音频文件。而如果将音频文件直接转录为符号音乐文件（MIDI 格式）会导致音乐中大量细节的丢失。EMOPIA包含来自387首歌曲的1 078个片段和4类情感标签，如表2所示。片段总时长约11 h。每个音乐片段的情感类别对应Circumplex情感模型^［28］中的一个象限。

3.2 BMT

含有多维交互引导的BMT网络架构如图4所示。MIDI经过数据预处理，被转换为2.4节所定义的复合词标记w_t，k。在复合词编码层，引入4个关键的编码维度，分别是韵律密度编码、韵律强度编码、情感类别编码以及时间比例编码层。它们共同作用于w_t，k，通过位置编码标注序列中每个元素的位置。图4中-E表示对应的embedding编码。韵律密度、强度以及情感类别的嵌入维度分别设定为64、64和256，时间比例编码层的嵌入维度为512。此外，整个序列的长度被设置为1 024。数据经过复合词编码层后进入线性层，之后经过8头因果自注意力层^［29］，输出信息经过线性层。最终生成下一时间步的背景音乐序列w_t+1，k。

3.3 非配对数据驱动

非配对数据驱动策略训练和推断阶段的输入数据不同。训练阶段输入为复合词，视频画面不参与训练，关键在于使模型学习到如何控制音乐情感、韵律密度和韵律强度。采用掩蔽交叉熵损失函数^［25］计算模型的损失。{\mathit{Y}}^{(i)}是目标属性张量的第i个元素，{\widehat{\mathit{Y}}}_i是模型预测得到的属性张量的第i个元素，{\mathit{M}}_i是掩码的第i个元素，损失函数如下

L_{\mathrm{m}\mathrm{a}\mathrm{s}\mathrm{k}\mathrm{e}\mathrm{d}}\left(\mathit{Y},\widehat{\mathit{Y}}\right)=\frac{{\sum }_{i=\mathrm{1}}^{\mathrm{9}}{\mathit{M}}_i\cdot {\mathit{Y}}^{(i)}\mathrm{l}\mathrm{o}\mathrm{g}({\widehat{\mathit{Y}}}_i)}{{\sum }_{i=\mathrm{1}}^{\mathrm{9}}{\mathit{M}}_i}.（16）

在推断阶段，创作者首先设定期望的音乐情感类别。Visbeat^［21］提取视频节奏信息，得到视频运动显著性。设定人机交互超参数演奏速度、显著性阈值，如式（6）和式（7）将视频运动显著性转化为韵律信息，以实现背景音乐的一致性生成。

推断阶段，当生成器生成的序列属于韵律组时，使用韵律密度或韵律强度替换对应的序列，并修正当前的时间比例编码，直到预测出结束标志EOS停止。后处理阶段，在MIDI文件中精确配置用户预设的乐器参数，实现特定乐器演奏。模型使用注意力窗口长度等于模型序列长度的线性转换器^［29］为主干架构，无需对训练序列进行分割，也无需内存压缩^［30］或内存缓存^［31］等技术。与自回归生成模型相比，BMT将推断时间复杂度由O（n²）降低至O（n）。

4 评估方法

本节结合音乐质量客观评价^［19］、双视角主观定性评估指标和模型推断效率，对模型效果进行综合评估。

4.1 音乐质量客观指标

音乐质量是衡量模型作曲能力的关键指标，其指标越接近实际音乐，说明模型创作的音乐质量越高。本研究采用Wu和Yang^［19］提出的音乐质量客观评价指标，包括音高类直方图、开槽模式相似度、结构指标等。为统一量化，将所有指标转化为百分比，百分比越小，音乐质量越接近原始数据集。具体计算如下

\mathrm{S}\mathrm{c}\mathrm{o}\mathrm{r}{\mathrm{e}}_i=\frac{\left(\mathrm{S}\mathrm{c}\mathrm{o}\mathrm{r}{\mathrm{e}}_{i,\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}-\mathrm{S}\mathrm{c}\mathrm{o}\mathrm{r}{\mathrm{e}}_{i,\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}\mathrm{s}\mathrm{e}\mathrm{t}}\right)}{\mathrm{S}\mathrm{c}\mathrm{o}\mathrm{r}{\mathrm{e}}_{i,\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}\mathrm{s}\mathrm{e}\mathrm{t}}}\times \mathrm{100}\mathrm{\%}，（17）

其中，\mathrm{S}\mathrm{c}\mathrm{o}\mathrm{r}{\mathrm{e}}_{i,\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}表示不同模型在对应音乐质量评价指标上的分数；\mathrm{S}\mathrm{c}\mathrm{o}\mathrm{r}{\mathrm{e}}_{i,\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}\mathrm{s}\mathrm{e}\mathrm{t}}表示模型采用的数据集在对应评价指标上的分数。

\mathrm{A}\mathrm{v}\mathrm{e}\mathrm{D}=\frac{{\sum }_{i=\mathrm{1}}^{\mathrm{3}}\mathrm{S}\mathrm{c}\mathrm{o}\mathrm{r}{\mathrm{e}}_i}{\mathrm{3}}，（18）

为定量表示音乐质量差异，将3个指标如式（18）得到音乐质量平均差异（average difference，AveD）。

4.2 推断吞吐率指标

推断阶段，显然越长的视频消耗的时间越多，对于同一段视频，如果模型创作背景音乐耗时越少，则模型的推断效率越高。为评估推断效率，提出推断吞吐效率评价指标 （infer efficiency， InfE）。此指标为视频时长与其推断阶段耗时之比，具体计算如下

\mathrm{I}\mathrm{n}\mathrm{f}\mathrm{E}=\frac{\mathrm{V}\mathrm{i}\mathrm{d}\mathrm{e}{\mathrm{o}}_{\mathrm{t}\mathrm{i}\mathrm{m}\mathrm{e}}}{\mathrm{I}\mathrm{n}\mathrm{f}\mathrm{e}\mathrm{r}\mathrm{e}\mathrm{n}\mathrm{c}{\mathrm{e}}_{\mathrm{t}\mathrm{i}\mathrm{m}\mathrm{e}}}.（19）

4.3 双视角主观评估方法

双视角主观评估分为创作者和观众评估。在“创作者”评测中，设置了3项主观评测指标：配乐自身的主观评测指标、音乐与视频的兼容性以及创作满意度。在背景音乐自身评价方面与现有研究评估内容一致^［11］，主要考虑以下3点：丰富性、正确性和结构性。在视频与背景音乐兼容性指标中，除现有的“节奏匹配度”外，新增“情感匹配度”和“创作满意度”，以充分挖掘创作者评价价值。每项指标满分均为5分。

“观众”评测问卷从视频与背景音乐兼容性方面评估，包括节奏匹配度、情感匹配度、总体满意度，满分为5分。其中，“总体满意度”反映观众是否能从背景音乐中体会到创作者所要表达的感情。

本工作开发了在线评估平台，共有50位测评者参与了调查，其中14位测评者具有音乐学习经验或对视频配乐具有相关了解，被视为专业人士，其余36位为非专业人士。所有参与测评人员中，有12位测评者以“创作者”的角度对模型效果进行评价：上传视频并设置期望的音乐情感、演奏速度、节奏强度阈值、演奏乐器等参数，模型生成对应的背景音乐。另外38位测评者以“观众”的角度随机观看由创作者创作的视频，包含CMT模型和BMT创作背景音乐的视频，并对背景音乐的效果进行评价。

5 实验分析

嵌入层每层召回率为0.1，Adam优化器初始学习率为5e-5，训练1 000轮次，批处理大小为4。单张GTX1080显卡每次训练大约需要8 h，模型在200轮后收敛。

5.1 音乐质量客观评估

客观评估使用了《角斗士》《指环王3》《美丽人生》《撞车》《海底总动员》中情感倾向较为明显的32个片段作为测试视频，每个片段生成10首背景音乐。配乐质量评估结果如表3所示，提升率为AveD减小的数值。音乐质量客观评估指标中，“音高类直方图”“开槽模式相似度”“结构指标”“AveD”指标的值越小，反映模型效果越好。从实验结果可以看出，该模型在各个音乐质量指标中均优于CMT和DLT，生成音乐质量比CMT提升20.6%，说明加入韵律强度、密度和时间比例编码模块后，能够完成视频和背景音乐的对应，同时对生成音乐本身的质量影响较小。

5.2 模型推断吞吐率

表4中BMT推断吞吐效率相较CMT^［11］大幅提升，这是因为采用线性转换器^［29］推断，而不是自回归转换器^［32］。针对一个时长为1 min的视频，BMT的推断耗时仅需十几秒。

5.3 情感驱动引导效果

根据EMOPIA^［25］中提到的音乐在情感4象限上最具鉴别性的分布特征，对模型生成的背景音乐情感驱动引导效果进行定性评估。其衡量标准是：模型生成的音乐分布特征是否与数据集分布特征一致，如图5所示。

图5第1行显示原始数据集中不同象限音乐的音符长度、密度、速度的小提琴图。第2行为BMT模型结果：不同唤醒的背景音乐的音符长度、音符密度有明显差别，且符合数据集分布；音符速度上符合高唤醒音乐（第1、2象限）速度大于低唤醒音乐（第3、4象限），符合数据集的音乐音符特征。而第3行去掉情感标签后，不同情感类别的背景音乐的音符特征并无明显差别。因此情感标签对背景音乐的情感引导有显著效果。

5.4 主观评估

表5展示了创作者视角的主观评估结果，音乐自身正确性和结构性的提升主要源于两种音乐演奏速度的控制策略，它赋予了背景音乐生成过程中更高的灵活性和可控性。情感匹配度的提升归因于“情感一致性”理论的引入，复合词中的情感标签使生成音乐与视频具有一致的情感倾向。

表6“情感匹配度”的提升既证实了背景音乐在帮助观众理解视频情感方面的作用，也验证了“情感一致性”理论的实用性和有效性。“节奏匹配度”指标的良好表现则表明了韵律密度和韵律强度的概念的实用性和有效性。

5.5 消融实验

为评估多维交互引导中各属性功能，以及时间比例编码的作用。本节对音乐节奏控制属性进行消融实验，表7展示了消融后生成音乐的质量客观评估结果。“总体排名”代表模型在不同指标上的平均排名。结合音乐质量指标和推断吞吐率，BMT实现了最优的总体排名。

消融韵律密度、强度的模型，在音乐质量指标上略优于BMT是合理的。因为去掉韵律替换后，音乐生成更不受干预，其质量也会更接近数据集。但是这会影响音乐与视频的节奏匹配，无法满足背景音乐与视频匹配的要求。另外，去掉韵律标记后，模型的推断吞吐率也会降低。

消融时间比例编码的模型虽然在推断吞吐效率上有明显提高，但其音乐生成质量大大降低。这是因为模型在没有时间比例编码的情况下，只能通过小节数为视频生成对应时长的背景音乐。模型无法精确知晓当前生成的音乐所处的视频时间节点，导致音乐自身的开端、发展、高潮和结尾被打破，因此音乐质量随之降低。时间比例编码显式地编码了每个小节、韵律属性所对应的视频时长比例，从而引导模型生成对应发展的旋律。

6 总结

针对影视配乐生成领域，引入情感一致性，设计多维交互引导，有效生成了与视频内容情感精准匹配、节奏协调且叙事完整的背景音乐，提高了音乐向量表示的交互特性，也确保了音乐创作的个性化和创新性。本方法在客观评价指标上提升20.6%，在主观评价指标上也表现出优势。进一步，提出BMT网络架构和非成对数据驱动策略，显著提高配乐生成效率，将计算复杂度从视频时长的二次方降至线性。此外，采取双视角评估策略通过情感匹配度、创作满意度等指标，为背景音乐生成的客观性和全局性提供了新的评估维度。未来工作将探索更细粒度的情感配乐生成及多场景配乐创作，不断提升生成音乐的适应性和表现力。

参考文献

[1] Brooks T， Peebles B， Homes C， et al. Video generation models as world simulators［EB/OL］. （2024-02-15）［2024-02-26］.

[2] Agostinelli A， Denk T I， Borsos Z， et al. MusicLM： generating music from text［EB/OL］. arXiv 2023：2301.11325.（2023-01-26）［2024-02-26］.

[3] Huang Q Q， Park D S， Wang T， et al. Noise2Music： text-conditioned music generation with diffusion models［EB/OL］. arXiv 2023：2302.03917. （2023-02-08）［2024-02-26］.

[4] Copet J， Kreuk F， Gat I， et al. Simple and controllable music generation［EB/OL］. arXiv 2023：2306.05284. （2023-06-08）［2024-02-26］.

[5] OpenAI. Introducing ChatGPT［EB/OL］. （2022-11-30）［2024-02-26］.

[6] Kaliakatsos-Papakostas M， Floros A， Vrahatis M N. Artificial intelligence methods for music generation： a review and future perspectives［M］//Nature-Inspired Computation and Swarm Intelligence. Amsterdam： Elsevier， 2020： 217-245. DOI： 10.1016/b978-0-12-819714-1.00024-5 .

[7] Tesoriero M， Rickard N S. Music-enhanced recall： an effect of mood congruence， emotion arousal or emotion function？ ［J］. Musicae Scientiae， 2012， 16（3）： 340-356. DOI： 10.1177/1029864912459046 .

[8] Millet B， Chattah J， Ahn S. Soundtrack design： the impact of music on visual attention and affective responses［J］. Applied Ergonomics， 2021， 93： 103301. DOI： 10.1016/j.apergo.2020.103301 .

[9] Västfjäll D. Emotion induction through music： a review of the musical mood induction procedure［J］. Musicae Scientiae， 2001， 5（）： 173-211. DOI： 10.1177/10298649020050S107 .

[10] Bachorik J P， Bangert M， Loui P， et al. Emotion in motion： investigating the time-course of emotional judgments of musical stimuli［J］. Music Perception， 2009， 26（4）： 355-364. DOI： 10.1525/mp.2009.26.4.355 .

[11] Di S Z， Jiang Z R， Liu S， et al. Video background music generation with controllable music transformer［C］//Proceedings of the 29th ACM International Conference on Multimedia. October 20 - 24， 2021， Virtual Event， China. ACM， 2021： 2037-2045. DOI： 10.1145/3474085.3475195 .

[12] Ferreira L N， Mou L L， Whitehead J， et al. Controlling perceived emotion in symbolic music generation with Monte Carlo Tree search［C］//Proceedings of the Eighteenth AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment. 2022， 18（1）： 163-170. ACM， 2022： 163-170. DOI： 10.1609/aiide.v18i1.21960 .

[13] Gómez-Cañón J S， Cano E， Eerola T， et al. Music emotion recognition： toward new， robust standards in personalized and context-sensitive applications［J］. IEEE Signal Processing Magazine， 2021， 38（6）： 106-114. DOI： 10.1109/MSP.2021.3106232 .

[14] Wu X P. An analysis of the origin， integration and development of contemporary music composition and artificial intelligence and human-computer interaction［C］//International Conference on Human-Computer Interaction. Cham： Springer Nature Switzerland， 2023： 259-268. DOI： 10.1007/978-3-031-34609-5_19 .

[15] Briot J P. From artificial neural networks to deep learning for music generation： history， concepts and trends［J］. Neural Computing and Applications， 2021， 33（1）： 39-65. DOI： 10.1007/s00521-020-05399-0 .

[16] Wang L， Zhao Z Y， Liu H W， et al. A review of intelligent music generation systems［J］. Neural Computing and Applications， 2024， 36（12）： 6381-6401. DOI： 10.1007/s00521-024-09418-2 .

[17] Yang X T， Yu Y， Wu X Y. Double linear transformer for background music generation from videos［J］. Applied Sciences， 2022， 12（10）： 5050. DOI： 10.3390/app12105050 .

[18] Karlin F， Wright R. On the track： a guide to contemporary film scoring［M］. New York： Schirmer Books， 1990. DOI： 10.4324/9780203643907 .

[19] Wu S L， Yang Y H. The Jazz Transformer on the front line： exploring the shortcomings of AI-composed music through quantitative measures［EB/OL］. arXiv 2020：2008.01307. （2020-08-04）［2024-02-26］.

[20] Hsiao W Y， Liu J Y， Yeh Y C， et al. Compound word transformer： learning to compose full-song music over dynamic directed hypergraphs［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2021， 35（1）： 178-186. DOI： 10.1609/aaai.v35i1.16091 .

[21] Davis A， Agrawala M. Visual rhythm and beat［J］. ACM Transactions on Graphics， 2018， 37（4）： 122. DOI： 10.1145/3197517.3201371 .

[22] Hernandez-Olivan C， Beltr􀅡n J R. Music composition with deep learning： a review ［M］//. Advances in Speech and Music Technology . Cham： Springer， 2023： 25-50. DOI： 10.1007/978-3-031-18444-4_2 .

[23] Huang Y S， Yang Y H. Pop music transformer： beat-based modeling and generation of expressive pop piano compositions［C］//Proceedings of the 28th ACM International Conference on Multimedia. Seattle WA USA. ACM， 2020： 1180-1188. DOI： 10.1145/3394171.3413671 .

[24] Eerola T， Toiviainen P. MIDI toolbox： MATLAB tools for music research ［EB/OL］. University of Jyväskylä， Finland.（2017-05-17）［2024-02-26］.

[25] Hung H T， Ching J， Doh S， et al. EMOPIA： a multi-modal pop piano dataset for emotion recognition and emotion-based music generation ［EB/OL］. arXiv 2021：2108.01374. （2021-08-03）［2024-02-26］.

[26] Sulun S， Davies M E P， Viana P. Symbolic music generation conditioned on continuous-valued emotions［J］. IEEE Access， 2022， 10： 44617-44626. DOI： 10.1109/ACCESS.2022.3169744 .

[27] Pesek M， Strle G， Kavčič A， et al. The Moodo dataset： integrating user context with emotional and color perception of music for affective music information retrieval［J］. Journal of New Music Research， 2017， 46（3）： 246-260. DOI： 10.1080/09298215.2017.1333518 .

[28] Russell J A. A circumplex model of affect［J］. Journal of Personality and Social Psychology， 1980， 39（6）： 1161-1178. DOI： 10.1037/H0077714 .

[29] Katharopoulos A， Vyas A， Pappas N， et al. Transformers are RNNs： fast autoregressive transformers with linear attention［EB/OL］. arXiv 2020： 2006.16236. （2020-06-29） ［2024-02-26］.

[30] Rae J W， Potapenko A， Jayakumar S M， et al. Compressive transformers for long-range sequence modelling［EB/OL］. arXiv 2019：1911.05507. （2019-11-13）［2024-02-26］.

[31] Dai Z H， Yang Z L， Yang Y M， et al. Transformer-XL： attentive language models beyond a fixed-length context［C］//proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Florence， Italy. Stroudsburg， PA， USA： Association for Computational Linguistics， 2019： 2978-2988. DOI： 10.18653/v1/p19-1285 .

[32] Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need ［EB/OL］. arXiv 2017：1706.03762.（2017-06-12） ［2024-02-26］.