基于微调大语言模型的俄文风格中文诗自动生成与评价

Automatic Generation and Evaluation of Russian-Style Chinese Poetry Based on Fine-Tuned Large Language Model

摘要

针对风格化诗歌生成中，中俄双语诗歌数据获取与标注难度高、风格迁移实现困难的问题，提出一种通过直接奖励优化（DRO）微调大语言模型生成俄文风格中文现代诗的方法，以降低数据收集难度并提高数据利用率.对生成结果的人工评价显示，微调模型在语法、逻辑、修辞、创新、深度、风格和类人性方面均优于基线模型，其评分分别达到真实俄罗斯诗人作品中文版评分的98.0%，96.2%，99.2%，98.4%，98.1%，96.0%和98.8%.在诗歌意象方面，俄文诗与微调模型生成诗在前50位高频意象上的重合度达到46%，较俄文诗与基线模型生成诗的意象重合度增加了14.0%.实验结果表明，该方法能有效生成具有俄文风格的中文现代诗.

Abstract

To address the problems of high difficulty in acquiring and annotating bilingual Chinese and Russian poetry data and implementing style transfer in stylized poetry generation， a method for generating Russian-style Chinese modern poetry by fine-tuning a large language model via direct reward optimization （DRO） was proposed to reduce data collection difficulty and improve data utilization.Human evaluation of generated results indicates that the fine-tuned model outperforms the baseline model in terms of grammar， logic， rhetoric， innovation， depth， style， and human-likeness， with its scores reaching 98.0%， 96.2%， 99.2%， 98.4%， 98.1%， 96.0%， and 98.8% of the scores of Chinese versions of real Russian poets’ works， respectively.In terms of poetic imagery， the overlap rate of the top 50 high-frequency images between Russian poetry and fine-tuned model-generated poetry reaches 46%， which is 14.0% higher than that between Russian poetry and baseline model-generated poetry.Experimental results demonstrate that the proposed method can effectively generate Russian-style Chinese modern poetry.

Graphical abstract

关键词

大语言模型 / 机器学习 / 俄文风格 / 中文现代诗 / 风格迁移

Key words

large language model / machine learning / Russian style / Chinese modern poetry / style transfer

诗歌是文学的精华，是人类艺术的重要组成部分.在很长一段时间里，人们认为艺术与科技相关性较小，甚至一定程度上是对立的——很多文艺作品中用各种形式反复表达着人工智能无法真正模拟人类的情感，机器无法创造真正的艺术.但在1982年的科幻电影《银翼杀手》中，仿生人角色有一句让观众至今津津乐道的台词：“我曾见过你们这些人无法想象的事物……战舰在猎户星座旁燃烧，我曾眼见C射线在唐怀瑟之门附近的黑暗中闪光，而所有这些时刻终将消散于时光，如同泪水消失在雨中.”观众们震撼于此诗一般的言语，更震撼于这与人类诗人风格迥异的诗句来自一个被设计为“没有情感”的复制人.2003年，科幻作家刘慈欣在小说《诗云》^［1］中畅想了用诗人经历复现和文学语句穷举的方法生成超一流诗歌的可能性.只有自然人才能产出艺术吗？诗歌的创作过程可以被模拟吗？机器可以自发创造，而非单纯机械复制艺术作品吗？随着人工智能的发展，这些疑问越来越频繁地出现在我们面前，随着相关研究的不断推进，我们正在一步步接近问题的答案.

诗歌生成从内容层面可分为按主题生成^［2］、按诗体生成^［3-5］、按诗人风格生成^［6-7］、按指定语言生成^［8-10］；从方法层面又经历了基于规则模板生成^［11-12］、基于统计模型生成^［13-14］、基于传统神经网络生成^［15-16］的发展历程.近几年，大语言模型（large language models，LLMs）^［17-18］的推出使人工智能的发展迈入崭新篇章.但大语言模型作为通用模型，尚无法在所有专业层面都有契合用户期待的表现.而微调大语言模型，即利用特定领域的较小规模数据集和人类反馈进一步训练模型，能够将通用模型转为针对特定任务的专业性模型，让微调后的模型在专门领域上有更佳表现.在自然语言生成（natural language generation，NLG）领域，通过对大语言模型微调来生成特定语言的诗歌^［8，19］也成为新的研究方向.而生成具有其他语言风格的中文诗具有特殊的意义：一方面，使用一种语言生成另一种语言风格的诗歌将两种语言以巧妙的方式融合，模糊了语言的界限，拓宽了表达的边界，让读者可以在母语环境中领略异域风情，打破不同文明的语言壁垒；另一方面，风格化的诗歌生成有助于特色语言风格的传播，其研究对少数文化的保护、延续与创新同样十分有益.

1 相关工作

1.1 诗歌自动生成

诗歌生成一直是自然语言处理领域中富有挑战性和艺术性的研究方向.早期的研究主要依赖于基于规则和模板的方法，通过预先设定韵律、格式和语汇库生成符合传统诗歌结构的文本^［11-12］.随后，统计机器学习方法被引入以捕捉诗歌中的常用搭配，使得生成文本在语法和词汇上更加自然^［13-14］.进入深度学习时代后，传统神经网络在诗歌生成中的应用进一步提升了意象建模与情感表达的能力^［15-16］.

大规模预训练语言模型的突破促使诗歌生成研究迈向新阶段：例如BERT（bidirectional encoder respresent ations from transformers）和GPT-2（generative pre-trained transformer-2）模型便在多种文本生成任务中展现出优异性能^［17-18］，而通过对预训练模型进行有针对性的微调，让自动生成特定语言、种类的诗歌成为可能^{［8，19-22］}.学者们对中文诗歌生成的研究主要涉及中文古典诗词（如唐诗、宋词）^{［14，23-24］}和中文现代诗^［4］.其中，古典诗歌生成侧重于满足严格的格律要求，现代诗歌生成则更注重自由表达.目前，对不同语言间诗歌风格迁移的探索仍较为有限，有待进一步研究.

1.2 风格化诗歌生成与跨文化融合

诗歌不仅是情感与意象的载体，也是文化传承的重要形式.近年来，文本风格迁移和风格化生成成为自然语言生成领域的研究热点.在诗歌生成任务中，部分工作已尝试通过条件生成或特定风格标签来模拟某位诗人的风格^［6-7］.这些方法主要针对单一文化内部的风格差异，尚未充分涉及跨文化或跨语言风格的融合.

另一方面，随着直接偏好优化（direct preference optimization，DPO）^［25］等利用人类反馈进行文本对齐的方法被提出，利用成对偏好数据或单轨迹反馈来引导生成文本的风格已成为可能.这类方法通过将生成目标转化为基于反馈的最大似然估计问题，有效避免了传统强化学习中构建奖励模型的复杂性，并在对话生成、摘要生成等任务上取得了良好效果.然而，现有工作大多集中于通用文本生成，对于诗歌这种兼具语言美感与文化意蕴的文本，其风格化生成仍然存在不少挑战.

本研究正是在这一背景下展开的.俄文文学作品较为丰富，但受限于俄文的复杂程度和中文与俄文在句法上的巨大差异，中俄双语诗歌数据的获取与标注较为困难.通过目前较为先进的直接奖励优化（direct reward optimization，DRO）^［26］方法对大语言模型进行微调，使其能够生成具有俄文风格的中文现代诗.该方法相比传统人类反馈强化学习（reinforcement learning from human feedback，RLHF）方法降低了数据收集难度，数据利用率更高，训练难度更低，在节省计算资源的同时，也提高了俄文风格对齐和微调的效率.

本文提出的方法既利用了大模型在语言生成上的强大能力，又通过微调训练进行跨文化风格迁移，将俄国诗歌的意象、节奏和修辞特征引入中文现代诗中，为风格化诗歌生成提供了新的思路.

2 算法描述

本文的方法引入DRO框架，如图1（右）所示.在传统强化学习（图左）中，人类对于同一提示的2个生成内容y_{\mathrm{b}}和y_{\mathrm{s}}进行评估，其中y_{\mathrm{b}}表示最优（best），y_{\mathrm{s}}表示次优（second-best）.传统强化学习通过偏好数据优化打分模型和策略，而DRO仅处理单轨迹反馈数据，无需成对偏好标注；DRO引入联合优化策略与价值网络，显著降低数据获取门槛.与传统强化学习相比，DRO具有2个核心改进：1） 支持单轨迹反馈数据（如用户点赞/点踩）；2） 联合优化策略与价值网络.具体流程是从一个预训练并经过监督微调的参考模型（例如GPT或其他大型语言模型）开始，通过利用单轨迹反馈数据（如二元反馈“+1/-1”）对齐模型输出.与传统基于人类反馈的强化学习方法需要额外训练奖励模型并使用强化学习（例如近端策略优化，proximal policy optimization，PPO）进行策略更新不同，DRO在KL正则化（Kullback-Leibler divergence regularization）策略优化框架下，将反馈信号直接融入模型的损失函数（loss function）中，从而大大降低了训练复杂度并提高了数据的利用效率.

2.1 利用单轨迹反馈进行策略优化

标准流程通常通过监督学习，在针对特定下游任务的高质量数据上对预训练语言模型进行微调.然而，这种有监督微调（supervised fine-tuning，SFT）方法虽然能够生成语法正确且连贯的响应，但存在一个根本缺陷：它优化的是对数似然（log-likelihood），而非人类偏好.对数似然目标鼓励模型为数据集中所有响应分配概率质量，将所有响应视为同等重要.这种方法无法区分具有严重错误（如事实错误）的响应和仅在风格上次优的响应.因此，即使经过大量微调，语言模型仍可能生成在人类评估者看来质量较低的输出.

为了弥合模型目标与人类评估标准之间的不匹配，DRO采用单轨迹反馈数据，在KL正则化的策略优化框架中直接注入奖励信号.与传统对齐技术中使用的稀缺成对偏好数据相比，单轨迹反馈数据更易获得.具体而言，考虑基于RLHF经典目标的最优策略，其解析形式可以表述为

{\pi }_{\theta }\left(y\left|x\right.\right)=\frac{{\pi }_{\mathrm{r}\mathrm{e}\mathrm{f}}\left(y\left|x\right.\right){\mathrm{e}}^{\frac{\mathrm{1}}{\beta }r\left(x,y\right)}}{{\mathrm{e}}^{\frac{\mathrm{1}}{\beta }V\left(x\right)}}.（1）

式中：r\left(x,y\right)是来自单轨迹反馈的标量奖励，量化了输出y相对于输入x的质量或符合人类偏好的程度（例如，“+1”表示正面反馈，“-1”表示负面反馈）；\theta是模型的参数；{\pi }_{\theta }\left(y\left|x\right.\right)是研究希望学习的目标参数化策略（即微调后的模型），表示在给定输入x时生成输出y的概率；{\pi }_{\mathrm{r}\mathrm{e}\mathrm{f}}\left(y\left|x\right.\right)是参考策略，通常是SFT阶段得到的模型，作为正则化的基准，防止{\pi }_{\theta }过度偏离初始模型；\beta是一个正标量超参数，控制着KL正则化的强度（较小的\beta意味着更强的正则化，使得{\pi }_{\theta }更接近{\pi }_{\mathrm{r}\mathrm{e}\mathrm{f}}；较大的\beta则允许{\pi }_{\theta }更大地偏离{\pi }_{\mathrm{r}\mathrm{e}\mathrm{f}}以最大化奖励r\left(x,y\right)）；而最优值函数V\left(x\right)为

V\left(x\right)=\beta \mathrm{l}\mathrm{o}\mathrm{g}{\mathbb{E}}_{y\sim {\pi }_{\mathrm{r}\mathrm{e}\mathrm{f}}\left(\cdot \left|x\right.\right)}\left[{\mathrm{e}}^{\frac{\mathrm{1}}{\beta }r\left(x,y\right)}\right] .（2）

式中：最优值函数V\left(x\right)代表在给定输入x时，遵循参考策略{\pi }_{\mathrm{r}\mathrm{e}\mathrm{f}}生成的所有可能输出y的期望指数奖励的对数（再乘以\beta）；期望{\mathbb{E}}_{y\sim {\pi }_{\mathrm{r}\mathrm{e}\mathrm{f}}\left(\cdot \left|x\right.\right)}是对所有可能的y根据参考策略的概率分布进行的加权平均.由此，可推导出策略与奖励之间的关系：

r\left(x,y\right)-V\left(x\right)=\beta \mathrm{l}\mathrm{o}\mathrm{g}\frac{{\pi }_{\theta }\left(y\left|x\right.\right)}{{\pi }_{\mathrm{r}\mathrm{e}\mathrm{f}}\left(y\left|x\right.\right)}.（3）

式（3）揭示了对数概率比与奖励偏差之间的直接联系，为后续损失函数的设计提供了理论依据.

2.2 消除奖励模型训练与强化学习的复杂性

传统的基于人类偏好的强化学习方法通常需要训练一个独立的奖励模型，再利用诸如PPO等强化学习（reinforcement learning，RL）算法进行策略优化.这不仅增加了训练流程的复杂性，RL方法也常常伴随较高的计算成本与超参数调节难题.DRO则避免了训练额外奖励模型的需求.具体来说，本文构造了如下的DRO损失函数：

{\mathrm{ℒ}}_{\mathrm{D}\mathrm{R}\mathrm{O}}\left(\theta ,V\right)=\frac{\mathrm{1}}{\mathrm{2}}{\mathbb{E}}_{\left(x,y\right)\sim D}\left[{\left(r\left(x,y\right)-V\left(x\right)-\beta \mathrm{l}\mathrm{o}\mathrm{g}\frac{{\pi }_{\theta }\left(y\left|x\right.\right)}{{\pi }_{\mathrm{r}\mathrm{e}\mathrm{f}}\left(y\left|x\right.\right)}\right)}^{\mathrm{2}}\right].（4）

式中：{\mathbb{E}}_{\left(x,y\right)\sim D}表示期望是根据数据集D中的样本\left(x,y\right)计算的，其中D包含了带有标量奖励r\left(x,y\right)的单轨迹反馈数据〈x，y，r\left(x,y\right)〉.

该目标函数通过最小化奖励与价值函数及策略对数比之间的均方误差，直接优化模型以更好地反映人类反馈.相比于RL方法中需要平衡奖励最大化与KL正则项的复杂目标，DRO的这一形式不仅在理论上具有全局唯一最优解，同时在实践中也更易于实现和调优.

2.3 直接优化单轨迹反馈：DRO-V的实现

在实际应用中，精确估计最优值函数V\left(x\right)通常具有挑战性.为此，采用一个参数化的神经网络V_{\varphi }\left(x\right)来近似值函数，并与策略网络{\pi }_{\theta }\left(y\left|x\right.\right)联合训练.这一实现通常被称为带价值的直接奖励优化（direct reward optimization with value，DRO-V），其梯度更新规则如下：

1）　策略网络的梯度更新，

\begin{array}{c}{\nabla }_{\theta }\mathrm{ℒ}\left({\pi }_{\theta },V_{\varphi }\right)=\\ -{\mathbb{E}}_{\left(x,y\right)\sim D}\left[{\nabla }_{\theta }\mathrm{l}\mathrm{o}\mathrm{g}{\pi }_{\theta }\left(y\left|x\right.\right)(r\left(x,y\right)-V_{\varphi }\left(x\right))-\frac{\beta }{\mathrm{2}}{\nabla }_{\theta }{\left(\mathrm{l}\mathrm{o}\mathrm{g}\frac{{\pi }_{\theta }\left(y\left|x\right.\right)}{{\pi }_{\mathrm{r}\mathrm{e}\mathrm{f}}\left(y\left|x\right.\right)}\right)}^{\mathrm{2}}\right].\end{array}（5）

式中：{\nabla }_{\theta }\mathrm{ℒ}\left({\pi }_{\theta },V_{\varphi }\right)为损失函数\mathrm{ℒ}关于\theta的梯度；{\nabla }_{\theta }表示对参数\theta求梯度.

2）　价值网络的梯度更新，

{\nabla }_{\varphi }\mathrm{ℒ}\left({\pi }_{\theta },V_{\varphi }\right)={\mathbb{E}}_{\left(x,y\right)\sim D}\left\{\left[V_{\varphi }\left(x\right)-r\left(x,y\right)+\beta \mathrm{l}\mathrm{o}\mathrm{g}\frac{{\pi }_{\theta }\left(y\left|x\right.\right)}{{\pi }_{\mathrm{r}\mathrm{e}\mathrm{f}}\left(y\left|x\right.\right)}\right]{\nabla }_{\varphi }{V}_{\varphi }\left(x\right)\right\}.（6）

式中：{\nabla }_{\varphi }\mathrm{ℒ}\left({\pi }_{\theta },V_{\varphi }\right)为损失函数\mathrm{ℒ}关于价值网络参数\varphi的梯度；{\nabla }_{\varphi }表示对参数\varphi求梯度.

这些更新规则体现了DRO-V的核心思想：在单轨迹数据上直接优化策略，同时利用值函数为策略梯度提供必要的学习信号.值得注意的是，在DRO的离线设置中，值函数不仅仅起到像标准强化学习中那样降低方差的作用，更是保证策略梯度估计无偏（或者说是目标损失函数的正确梯度）的重要组成部分，因为它补偿了采样分布（来自数据集D）与当前策略之间的差异.

DRO显著简化了基于人类反馈的大型语言模型对齐过程.通过利用易于获得的单轨迹二元反馈数据，DRO将策略优化问题转化为一个简单的均方误差回归任务，从而避免了传统RL方法中昂贵的奖励模型训练与策略优化过程.特别是DRO-V的实现，通过联合优化策略网络和价值网络，既兼顾了理论上的严格性，又具备较高的实践可行性.总结而言，DRO对齐方法可以较为便捷高效地将人类对风格偏好的反馈在微调模型中予以呈现，使语言模型生成的中文现代诗由原本的中文风格，变得更接近俄文诗歌风格.

3 实验设计

实验总体分为3个阶段：首先，对俄文风格诗歌进行分析研究，选择使用异化方法翻译的俄罗斯诗人作品的现代汉语译本进行校对整理并逐词标注，形成俄文风格中文现代诗数据集；然后，使用俄文风格诗歌数据集进行监督学习以初步增强预训练模型；最后，收集单一轨迹人类反馈数据，利用单一轨迹反馈数据进行策略优化，再使用梯度下降联合优化策略网络和价值网络，得到基于DRO微调的俄文风格中文现代诗生成模型.

3.1 数据集

在外来语翻译与文学翻译领域，有2种对外文的处理方法：归化（domestication）与异化（foreignization）.归化，是在翻译时向目标语言靠拢，采用地道的目标语表达来转写原文，使译文尽量接近读者的母语；该翻译方法能消除原文的异域感和陌生感，有助于读者充分理解.异化，则是在翻译时向源语言靠拢，采用源语言的表达方式，尽量保留源语言的风格、掌故、习语和句法特点，这种方法能尽量还原原文内容.在外文风格诗歌生成上也存在“归化”与“异化”的冲突——全盘本土化的语言无法展现外文风格；但异化如果超过必要限度，轻则佶屈聱牙，艰涩难懂，重则成为读者完全无法理解的天书.因此，为避免归化译法对原始外文风格的破坏，译者个人演绎风格对外文原文风格的稀释，在训练数据的收集上，遵从以下2个原则：1） 选择使用异化方法译为中文的俄文诗歌；2） 将译文与原文从语义和句法两个角度比对，选择尽量还原原文内容及结构的译本.

首先，本文从公开出版的俄文诗的经典中文译本^［27-29］中收集原始诗歌数据275首，共7种类型，总计8万字，其中各类型诗歌分布如表1所示.

然后，对照俄文诗歌原文，对收集的数据进行校对整理.最后，综合参考中文和俄文中的词类划分体系，按22个词类对诗句进行逐词标注，形成标注好的数据集，用于俄文风格诗歌的模型训练.

3.2 俄文风格描述

俄文属于印欧语系斯拉夫语族屈折语，同属于汉藏语系汉语族分析语在结构上相差较大，对于俄文风格在现代汉语中有效呈现的正确界定对训练时的人工反馈十分重要.一篇优秀的外文风格中文诗可以让读者在充分理解的情况下领略异域风情，生搬硬套外文结构和词汇则会让诗沦为“蹩脚的翻译腔”.需要避免在诗句中出现仅存于俄语中的句法现象，尽可能增加俄文与中文并存（包括俄语中常用而汉语中较少使用的结构）的内容与句法结构.因此，本文对俄文风格进行了分析与研究，总结出语义与句法方面共7条俄文风格有别于中文风格现代诗的语言特点，列于表2中.

如表2所示，由于俄语属高度屈折语言，语序自由度非常高，不仅物主代词与名词的位置不固定，主语、动词与宾语的位置同样非常灵活；而现代汉语语序较为固定，须遵从“主语+动词+宾语（subject-verb-object，SVO）”结构，所以第7个特征无法迁移至现代汉语.但其余6个特征均属于中文本身存在的语言现象，只是出现频率相对俄文较低.因此，在模型训练时，通过一定程度上提高这些特征出现的频率，可分别从语义和句法层面提高俄文风格在现代中文诗中的呈现度.

4 实验结果与评价

基线模型与基于DRO微调的俄文风格中文现代诗生成模型所生成的诗句对比如表3所示.

在自然语言生成领域，机器翻译等非开放端语言生成（non-open-ended generation）任务有较固定的标准答案，常使用准确度高的人工评价和速度较快的机器评价来评估生成结果，但机器评价目前尚无法对风格化诗歌生成这类开放端语言生成（open-ended generation）结果进行准确评价.常用于诗歌生成结果的评价方法有两种：格式检测和人工评价.其中格式检测适用于有固定格式、韵律、字数、音节数要求的各语言古典诗歌生成任务，不适用于格式完全自由的现代诗.因此本文采用人工评价和针对本研究生成特点提出的意象评价两种方法来对生成结果进行分析与评价，以确保实验评价的准确性.

4.1 人类评价

参与人工评价的人类评委共30位，母语均为中文，熟悉俄罗斯文学，对诗歌有良好的品鉴能力.为保证评估结果的客观性，本文将俄国、苏联及俄罗斯时期诗人作品的中文版混入供评价的生成诗中作为参照组，被选取的作品均为诗人在中国鲜为人知的诗，以保证评分者未读过这些作品.所以人类评委预先并不知晓要评价的诗中哪些是生成诗，哪些是人类诗人作品.为了确保评估的全面性，评价研究同时引入了较为先进的风格化诗歌生成（stylistic poetry generation，SPG）方法^［32］生成的诗歌作为对照组，SPG方法结合了互信息（mutual information）来增强所生成诗歌的流畅性和连贯性.供人类评委评价的诗歌共35首：包含10首基线模型生成诗，10首DRO微调模型生成诗，10首SPG方法生成诗，以及5首俄国诗人作品的中文版.35首诗的平均长度为18.54行，平均每行11.86个汉字.人类评委对这35首诗进行了独立评分.对于生成诗质量的评估，以往的研究常使用4因素评价法^［15］和6因素评价法^［7，10］；而本文设计了评估角度更丰富的“7维度评价法”来更有针对性地评估风格化诗歌生成结果，这7个维度分别为：语法、逻辑、修辞、创新、深度、风格与类人性.各项评分以5分制李克特量表形式呈现，具体评价内容与标准如表4所示.

得到30位评委在7个维度对35首诗的评分数据共7 350项，计算所得各项均值如图2所示.

7 350项人类评价数据在7个评估角度上的信度系数如表5所示，当信度系数Cronbach’s α与McDonald’s ω结果大于0.8时，说明信度很高.各项人工评价数据所计算出的Cronbach’s α系数介于0.891至0.927之间，McDonald’s ω系数介于0.896至0.931之间，这表明人工评价数据是可信的.

本文可以从人工评价的各项平均分上看出，微调后的预训练模型生成诗在每个评价维度上都达到了“一般”以上（即>3分），较基线模型生成诗在每个评价维度上均有所提升.其中，在“语法”和“逻辑”维度上分别提升了0.06分和0.01分.这可能是因为基线模型在这些较为基础的方面已有良好表现，所以提升空间较小.在进阶项目“修辞”和“创新”维度，人工评价分别提升了0.06分和0.02分.而在高阶维度“深度”、“风格”和“类人性”方面，则分别提升了0.08分、0.38分和0.06分.这表明，对预训练模型的微调有助于提高生成诗在修辞、深度、风格等方面的表现，能够显著提升与目标语言风格的近似度，也能从读者角度更接近人类撰写的诗歌.对比真实诗人中文版作品的各项平均分，微调后的预训练模型生成诗在语法、逻辑、修辞、创新、深度、风格和类人性这7个维度的人工评分分别达到了对方的98.0%，96.2%，99.2%，98.4%，98.1%，96.0%和98.8%.可见其在语法、修辞、创新、深度和类人性方面表现良好，在逻辑和风格方面仍有提升空间.

4.2 意象评价

“意象”具有很强的文化性和地域性，对诗歌风格有十分重要的影响，不同语言诗歌的常用意象各有不同.例如中国常见的4种花木“梅兰竹菊”在中文诗歌语境中较常出现，代指高洁之人，而这些植物在俄文诗中则罕有提及.俄国人挚爱美酒，与酒相关的意象常常呈现在俄文诗中.如表6所示，俄国著名诗人普希金的诗《Друзьям（致友人们）》中，便多次出现了“酒碗/酒杯（чаш，чашею）”、“酒神巴克斯（Вакха）”等意象.

鉴于诗歌意象对诗歌风格的重要性，在此用意象分布来评估生成诗的质量.首先，分别统计出中国最著名的80位现代诗人的200篇代表作和俄国、苏联与俄罗斯时期16位著名诗人的280篇代表作中的前50个高频意象；然后，通过原始预训练模型生成50首诗，通过微调模型也生成50首诗，统计了其各自前50位的高频诗歌意象；最后，分别计算出俄文诗与中文诗，俄文诗与基线模型生成诗以及俄文诗与微调模型所生成诗在前10位、前20位、前30位、前40位和前50位的高频意象的重合率.重合率统计结果如图3所示：“俄文-中文”代表中文诗与俄文诗意象重合率，“俄文-基线”与“俄文-微调”分别代表基线模型生成诗与俄文诗意象重合率以及微调模型生成诗与俄文诗意象重合率.

由图3可见，中文诗与俄文诗在常用意象上的重合率较低，不超过38.0%.经微调训练后的模型生成诗在除前20位高频意象上与俄文诗的重合度较基线模型降低5个百分点以外，在其余统计段与俄文诗的意象重合度均高于基线模型生成诗.其在前10、前30、前40和前50位高频意象上与俄文诗的重合度分别高于基线模型10.0%，3.3%，5.0%和14.0%.

中文诗歌、俄文诗歌和微调模型所生成的俄罗斯风格中文现代诗的前20—50位高频意象的更直观展示可见于图4a~图4d.

5 结 语

1） 针对中俄双语高质量诗歌数据的获取与标注困难的问题，本文构建了俄文风格中文现代诗数据集，并完成人工标注.

2） 针对俄文至中文的诗歌风格迁移问题，本文提出基于直接奖励优化微调的俄文风格中文现代诗生成模型及生成结果评价方法.

3） 对生成结果的人工评价显示，微调模型在语法、逻辑、修辞、创新、深度、风格和类人性等方面均较基线模型有所提升，分别达到了俄国、苏联及俄罗斯时期诗人作品中文版评分的98.0%，96.2%，99.2%，98.4%，98.1%，96.0%和98.8%.

4） 在诗歌意象方面，俄文诗与微调模型生成诗在前50位高频意象上的重合度达到46.0%，较俄文诗与基线模型生成诗的意象重合度提高了14.0个百分点.

综上所述，本文提出的方法能有效自动生成带有俄文风格的中文现代诗.

参考文献

[1] 韩松.2003年度中国最佳科幻小说集［M］.成都： 四川人民出版社， 2004： 53-86.

[2] Han Song.China best science fiction collection in 2003［M］.Chengdu： Sichuan People’s Publishing House， 2004： 53-86.

[3] Ghazvininejad M， Shi X， Choi Y J， et al.Generating topical poetry ［C］//Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing.Austin，2016： 1183-1191.

[4] ElOraby M， Abdelgaber M， Elkaref N， et al.Generating classical Arabic poetry using pre-trained models［C］//Proceedings of the Seventh Arabic Natural Language Processing Workshop （WANLP）.Abu Dhabi， 2022： 53-62.

[5] Liu Z Q， Fu Z H， Cao J， et al.Rhetorically controlled encoder-decoder for modern Chinese poetry generation ［C］//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics.Florence， 2019：1992-2001.

[6] Shao G M， Kobayashi Y， Kishigami J.Traditional Japanese haiku generator using RNN language model［C］//2018 IEEE 7th Global Conference on Consumer Electronics （GCCE）.Nara， 2018： 263-264.

[7] Wang K， Tian J， Gao R， et al.The machine poetry generator imitating Du Fu’s styles［C］//2018 International Conference on Artificial Intelligence and Big Data （ICAIBD）.Chengdu， 2018： 261-265.

[8] Shihadeh J， Ackerman M.EMILY： an Emily Dickinson machine ［C］//Proceedings of the 11th International Conference on Computational Creativity （ICCC’20）.Coimbra， 2020：243-246.

[9] Hämäläinen M， Alnajjar K， Poibeau T.Modern French poetry generation with RoBERTa and GPT-2 ［C］// Proceedings of the 13th International Conference on Computational Creativity （ICCC 2022）.Bozen-Bolzano， 2022：12-16.

[10] Ahmad S， Joglekar P.Urdu and Hindi poetry generation using neural networks［C］//Data Management， Analytics and Innovation.Singapore： Springer， 2023： 485-497.

[11] Hämäläinen M， Alnajjar K.Generating modern poetry automatically in Finnish［C］//Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing （EMNLP-IJCNLP）.Hong Kong， 2019： 5999-6004.

[12] Gervás P.WASP： evaluation of different strategies for the automatic generation of Spanish verse ［C］//Proceedings of the AISB’00 Symposium on Creative & Cultural Aspects of AI & Cognitive Science.Birminham， 2000：93-100.

[13] Oliveira H G.PoeTryMe： a versatile platform for poetry generation ［C］// Proceedings of Computational Creativity， Concept Invention， and General Intelligence （C3GI）.Montpellier， 2012：21-26.

[14] Jiang L， Zhou M. Chinese couplets using a statistical MT approach［C］//Proceedings of the 22nd International Conference on Computational Linguistics （Coling 2008）.Manchester， 2008： 377-384.

[15] He J， Zhou M， Jiang L.Generating Chinese classical poems with statistical machine translation models［C］//Proceedings of the Twenty-Sixth AAAI Conference on Artificial Intelligence.Toronto， 2012： 1650-1656.

[16] Yan R .i， Poet： automatic poetry composition through recurrent neural networks with iterative polishing schema ［C］//Proceedings of the Twenty-Fifth International Joint Conference on Artificial Intelligence （IJCAI-16）.New York， 2016：2238-2244.

[17] Hopkins J， Kiela D.Automatically generating rhythmic verse with neural networks［C］//Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics.Vancouver， 2017： 168-178.

[18] Devlin J， Chang M W， Lee K， et al.BERT： pre-training of deep bidirectional transformers for language understanding［C］//Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies.Minneapolis， 2019： 4171-4186.

[19] Radford A， Wu J， Child R， et al.Language models are unsupervised multitask learners［EB/OL］.（2019-02-14） ［2025-03-01］.

[20] Beheitt M E G， Hmida M B H. Ben Haj Hmida M.Automatic Arabic poem generation with GPT-2［C］//Proceedings of the 14th International Conference on Agents and Artificial Intelligence.Online， 2022： 366-374.

[21] Ullah I， Ullah K， Khan H， et al.Pashto poetry generation： deep learning with pre-trained transformers for low-resource languages［J］.PeerJ Computer Science， 2024， 10： e2163.

[22] Huynh T M， Bao Q L.Vietnamese poem generation & the prospect of cross-language poem-to-poem translation.（2024-01-04） ［2025-03-01］.

[23] Tabassam M R， Waheed H， Safder I， et al.UPON： Urdu poetry generation using deep learning： a novel approach and evaluation［J］.ACM Transactions on Asian and Low-Resource Language Information Processing， 2025， 24（1）： 1-21.

[24] Yu C Y， Zang L， Wang J T， et al.CharPoet： a Chinese classical poetry generation system based on token-free LLM［C］//Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics. Bangkok，2024： 315-325.

[25] Han Z H， Liu J T， Zhang Y B， et al.Copiously quote classics： improving Chinese poetry generation with historical allusion knowledge［J］.Computer Speech & Language， 2025， 90： 101708.

[26] Rafailov R， Sharma A， Mitchell E， et al.Direct preference optimization： your language model is secretly a reward model［C］//Proceedings of the 37th International Conference on Neural Information Processing Systems.New Orleans，2023： 53728-53741.

[27] Richemond P H， Tang Y H， Guo D， et al.Offline regularised reinforcement learning for large language models alignment［EB/OL］.（2024-03-29） ［2025-03-01］.

[28] 黎华.外国流派诗荟萃［M］.天津： 百花文艺出版社， 1992.

[29] Li Hua.Collection of foreign poems in different schools［M］.Tianjin： Baihua Literature and Art Publishing House， 1992.

[30] 普希金著. 普希金诗300首 ： 俄罗斯文学之父［M］.非文译.昆明： 云南人民出版社， 1997.

[31] （Pushkin.300

[32] poems by Pushkin ： the father of Russian literature ［M］.Translated by Fei Wen.Kunming： Yunnan People’s Publishing House， 1997.

[33] 安娜·安德烈耶夫娜·阿赫玛托娃 . 你呼吸太阳， 我呼吸月亮 ： 阿赫玛托娃抒情诗选［M］.杨开显， 译.广州： 花城出版社， 2017.

[34] Anna Andreyevna Akhmatova.You breathe the sun， breathe the moon I ： selected lyric poems of Akhmatova ［M］.Translated by Yang Kai-xian.Guangzhou： Flower City Publishing House， 2017.

[35] 张会森， 汤雅茹.俄语语法［M］.北京： 北京大学出版社， 2008： 231.

[36] Zhang Hui-sen， Tang Ya-ru.Russian grammar［M］.Beijing： Peking University Press， 2008： 231.

[37] 列夫·托尔斯泰.安娜·卡列尼娜［M］.高惠群， 石国生， 译.上海： 上海译文出版社， 2006： 516.

[38] Tolstoy Lev.Anna Karenina ［M］.Translated by Gao Hui-qun， Shi Guo-sheng.Shanghai： Shanghai Translation Publishing House， 2006： 516.

[39] Yang C， Sun M S， Yi X Y， et al.Stylistic Chinese poetry generation via unsupervised style disentanglement ［C］//Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing.Brussels， 2018：3960-3969.