MM-TComplEx：基于时间感知的多模态时序知识图谱嵌入框架

MM-TComplEx： a time-aware-based multi-modal temporal knowledge graph embedding framework

摘要

传统静态知识图谱难以建模时序动态性与多模态信息，限制了推理、问答等复杂任务的应用；当前多模态时序知识图谱嵌入方法还存在单一模态局限、隐含时间信息处理准确率低等问题.为此，提出时间感知约束的MM-TComplEx框架：通过自适应门控融合与多专家网络实现多模态对齐，扩展TComplEx至复数空间以融合时序与多模态信息，并采用混合损失函数保障语义及时序一致性.实验显示，在三个基准数据集上，MM-TComplEx 的实体预测与时间预测指标，均显著优于TComplEx、MPlexGNN等基线模型.

Abstract

It is difficult for traditional static knowledge graphs to model temporal dynamics and multimodal information， which limits their application in complex tasks such as reasoning and question answering. The existing methods for multimodal temporal knowledge graph embedding are still faced with limitations such as single modality limitations and low accuracy in handling implicit temporal information. To address these issues， MM-TComplEx， a time-aware constrained framework， was proposed. Specifically， multimodal alignment was achieved through adaptive gated fusion and multi-expert network， TComplEx was further extended into the complex space to integrate temporal and multimodal information， and a hybrid loss function was adopted to ensure both semantic and temporal consistency. Experimental results showed that MM-TComplEx significantly outperformed baseline models such as TComplEx and MPlexGNN in both entity prediction and time prediction tasks on three benchmark datasets.

在大数据时代，用户依赖搜索引擎获取信息，但传统搜索引擎返回结果繁杂、精准定位困难，而问答系统作为高效信息检索工具，其性能不仅取决于知识库质量，更依赖知识图谱对时序动态性与多模态信息的建模能力.知识图谱以三元组（实体-关系-实体）刻画实体关联，通过图结构系统化组织多源异构知识，但传统静态知识图谱难以有效建模时序动态性与多模态信息，既无法捕捉实体关系随时间的演化趋势，也难以整合图像等多模态数据，显著限制了其在推理问答任务中的应用.为此，时序知识图谱将三元组扩展为含时间戳/范围的四元组以捕捉拓扑演化，而多模态时序知识图谱进一步融合多模态信息，成为支撑复杂推理问答的关键载体.​

知识图谱问答利用结构化数据解答问题，通过语义解析减少检索误差，其中推理问答针对多跳逻辑问题，需串联多三元组完成推理，对多模态时序知识图谱的依赖尤为突出.然而，大规模的多模态时序知识图谱构建与嵌入仍面临挑战，一方面，现有知识图谱嵌入方法难以实现跨模态信息的有效融合；另一方面，其处理含隐含时间信息的复杂问题时准确率不足，无法满足推理问答的精度需求.​

针对上述问题，本研究聚焦多模态时序知识图谱（Multi-Modal Temporal Knowledge Graph，MMTKG）的嵌入技术，旨在提升知识嵌入质量以支撑高效推理问答.研究首先重点分析多模态融合技术；然后从补全导向与预测导向两方面探讨适配MMTKG的知识推理方法；最终提出基于时间感知约束的多模态时序知识图谱嵌入框架（MM-TComplEx），该框架通过自适应门控融合机制与多专家网络实现多模态信息对齐，将TComplEx扩展至复数空间以融合多模态和时序信息，并采用混合损失函数确保语义一致性和时序一致性.

在CN-DBpedia-Time-Image、XLore-Multimodal-Temporal和DuEE-MultiModal-Temporal三个中文多模态时序数据集上的实验结果表明，MM-TComplEx在实体预测（Hits@1=0.85，MRR=0.83）与时间预测（Hits@10=0.83，MRR=0.84）方面，均显著优于TComplEx、MPlexGNN等主流基线模型，为提升推理问答系统性能提供了关键技术支撑.

1 研究现状

1.1 多模态嵌入

MMTKG整合了多种模态信息，并探索了实体与关系的时间演变.通过引入时间戳，将传统（s，r，o）三元组扩展为四元组，以精确捕捉实体与关系的动态变化.形式上，MMTKG为带有时间戳的有向图G=（E，R，T），以（s，r，o，t）四元组表示知识，实现对现实世界动态知识的完整描述.多模态嵌入需要将多源异构的知识信息进行有效整合和统一处理，旨在消除冗余、解决冲突，生成一个更加完整有效的知识体系，以支持决策制定、数据分析、知识推理等高级应用^［1］.图1描述了多模态知识融合的技术框架，将多个模态的信息或其特征有效结合，以增强整体信息处理能力，提升任务性能.

在执行多模态特征提取时，多模态融合推荐算法SFELMM^［2］不仅构建了包含多种模态的用户与项目交互图，还专门设计了项目间的关联图，从而更有效地捕捉项目之间的关联性.在数据融合方面，张换香等人^［3］提出一种基于多模态信息融合的交叉注意融合策略TMFISA，通过调整模态间的注意权重来增强目标文本模态，并有效地整合多模态特征，但是在处理含歧义或特定知识的文本时效果却不理想.多模态信息的使用能够减轻异常值和缺失数据带来的问题，进而实现更加可靠且稳健的预测^［4］.在信息对齐与融合方面马浩然等人^［5］设计了一种基于图结构与元素信息融合的实体对齐模型EAFE（entity alignment based on feature fusion），该模型集成了图结构学习模块与元素信息学习模块，旨在深入解析知识图谱的图结构特性及元素信息.通过这两个模块，EAFE能够有效地学习并提取知识图谱中的关键特征，随后采用基于排序的融合算法，将这些特征进行智能整合，但是融合部分的排序方法仍需改进.通过多模态信息的对齐与融合，系统能够更全面地理解和分析复杂场景，提高信息处理的准确性和效率.多模态嵌入的方法主要包括基于深度学习的方法和基于图嵌入的方法.基于深度学习的方法利用神经网络模型学习数据的深层次特征表示，通过共享参数或联合训练的方式实现多模态数据的融合^［6］.而基于图嵌入的方法则将多模态数据表示为图结构中的节点和边，通过图嵌入算法学习节点的向量表示，从而捕捉不同模态之间的关联关系.徐金诚等人为了提高TransE^［7］模型的训练效果，提出一种改进的负样本采样的知识表示学习模型TransE-KCB.

当前，尽管现有知识图谱相关嵌入方法已取得显著成效，但其普遍受限于架构的过度简化，难以有效解释图结构中实体间的关系依赖.无论是多模态时序知识图谱还是传统知识图谱，均面临一个核心挑战，实体本质上受其相邻关系的约束与影响，而现有架构未能充分刻画这种关联性.在实际应用场景中，对实体的深度理解需满足双重需求，既要精准捕获实体自身的多模态特征，更需将其置于更广阔的知识图谱上下文之中，系统分析实体与其他节点间的互动关系，而这正是当前方法的主要短板所在.

1.2 知识推理

基于多模态时序知识图谱的知识推理构建了一个动态演化的知识网络，通过自然语言处理、计算机视觉和机器学习算法能够自动从多源异构数据中提取、融合并推断出新的知识和关系.其灵活性体现在能够跨越不同时间点，构建更为复杂和动态的知识关系网络，从而实现对知识更为丰富和深入的解析与建模^［8］.知识推理是指利用图结构中的节点（实体）和边（关系）进行逻辑推理、路径查询、模式识别等操作，以支持智能决策、问答系统、推荐系统等多种应用场景，从而实现对复杂问题的深度理解和智能解答.王雪钰提出了一种新颖的路径-结构化关系学习算法PaHR^［9］.该算法不仅能够生成多种支持证据图，以符合Few-shot^［10］关系的要求，还具备出色的归纳推理能力，能够准确捕捉支持三元组中头尾实体间的关系路径模式，并合理地实例化这些Few-shot关系表述.为了提高知识图谱推理模型的鲁棒性及语义感知能力，Zhang等人^［11］提出了一种具有增量学习机制的自适应图神经网络，通过结合节点采样技术来过滤掉传播路径中不相关的实体，从而提高模型的学习效率.陈强等人^［12］提出了一种融合任务知识的多模态知识图谱补全方法使用图卷积算法更新节点的多模态融合向量表示，但该研究并未充分考虑到长序列的问题.刘畅成等人^［13］提出一种LLM驱动的知识图谱补全方法，该方法利用大语言模型的深层语义理解能力，通过有效的知识融合和匹配策略，加强了模型在处理多元关系和复杂语义情景下的表现，但由于大模型的计算成本较高，该研究在大规模知识图谱中的补全效果有所降低.为了解决推理中准确度低、可解释性差、适用性不强等问题，朱玉亮等人提出了一种融合注意力机制和HousE的知识推理模型Att-HousE^［14］，此模型是对RNNLogic的改进，通过引入注意力机制，能够筛选出更为关键的关系作为推理规则，从而提升模型准确性.同时，采用HousE嵌入在处理复杂关系时展现出更高的灵活性，且适用于构建多边关系模型.知识图谱中路径连通性差问题是影响知识推理预测精度的因素之一，因此武月佳等人提出了一种名为DL+的“即插即用”型双层推理框架^［15］，该框架由两个核心层组成：知识增广器和知识推理机，旨在提升任意现有知识推理方法的性能.在时序知识图谱推理领域，陈博洋提出了一种创新的推理方法^［16］，将规则与现有的时序知识图谱嵌入模型相结合.通过整合规则与时序信息，实现高效且具备良好解释性的时序知识图谱推理.董丽君等人^［17］提出基于锚点的增量嵌入模型来实现知识增量嵌入，解决知识图谱成长过程中的动态嵌入问题，但是它的目标有限，即减少由于知识频繁更新而导致的嵌入计算负担，而不是提高嵌入质量.

针对多模态时序知识图谱推理中多模态信息融合不充分、新实体精准建模困难、推理结果准确度不足及时间维度信息建模薄弱的问题，本文结合多模态融合技术与时序建模方法提出了基于时间感知的多模态时序知识图谱嵌入方法.

2 基于时间感知的多模态时序知识图谱嵌入方法

基于时间感知的多模态时序知识图谱嵌入方法（MM-TComplEx）是一种新的多模态时序知识图谱框架，旨在通过集成结构化、文本和视觉信息来增强知识图谱补全.与传统的知识图谱嵌入方法不同，MM-TComplEx显式地结合多模态特征以及时间信息和关系依赖，从而实现了更全面的实体和时间戳表示.如图2所示，MM-TComplEx由三个模块组成，首先多模态嵌入模块将文本、视觉、结构和时间戳嵌入提取并对齐到统一的表示空间中.然后是专家驱动的综合分析模块，通过基于专家的融合机制融合多模态嵌入，确保最佳特征集成.最后是时间-模态交互模块，嵌入时考虑多模态数据的时序变化，增强关系推理.

2.1 多模态嵌入

文本描述为实体表示提供了丰富的语义信息源.对于每个实体\mathrm{e}，定义了一组文本描述D（e） = ｛\mathrm{d}\mathrm{e}\mathrm{s}{\mathrm{c}}_{\mathrm{1}}， \mathrm{d}\mathrm{e}\mathrm{s}{\mathrm{c}}_{\mathrm{2}}，⋯，\mathrm{d}\mathrm{e}\mathrm{s}{\mathrm{c}}_{\mathrm{n}}｝，其中n表示相关文本描述的数量.考虑到数据集特征变化，采用特定于数据集的嵌入策略来确保最佳的表示质量.实体{\mathrm{e}}_{\mathrm{T}}的文本嵌入计算为：

{\mathrm{e}}_{\mathrm{T}}=\frac{\mathrm{1}}{|\mathrm{D}(\mathrm{e})|}{{\sum }_{i=\mathrm{1}}^{|D(e)|}Enc}_{\mathrm{t}\mathrm{e}\mathrm{x}\mathrm{t}}\left(\mathrm{d}\mathrm{e}\mathrm{s}\mathrm{c}{}_{\mathrm{i}}\right) .（1）

视觉特征为文本描述提供了补充信息，特别是对于外观和结构起关键作用的实体.对于每个实体e，定义一组相关图像V（e）=｛\mathrm{i}\mathrm{m}{\mathrm{g}}_{\mathrm{1}}， \mathrm{i}\mathrm{m}{\mathrm{g}}_{\mathrm{2}}，⋯，\mathrm{i}\mathrm{m}{\mathrm{g}}_{\mathrm{m}}｝，其中m表示可用图像的数量.为了提取高质量的视觉特征，采用了预先训练好的深度学习模型，这些模型在图像表示学习中已经证明了其有效性.实体{\mathrm{e}}_{\mathrm{v}}的聚合视觉嵌入计算为：

{\mathrm{e}}_{\mathrm{V}}=\frac{\mathrm{1}}{|\mathrm{V}(\mathrm{e})|}{{\sum }_{i=\mathrm{1}}^{|V(e)|}Enc}_{\mathrm{i}\mathrm{m}\mathrm{g}}\left(\mathrm{i}\mathrm{m}{\mathrm{g}}_{\mathrm{i}}\right) .（2）

虽然文本和视觉嵌入丰富了语义表示，但结构嵌入捕获了实体之间的关系依赖关系.知识图谱中的每个实体都被建模为一个节点，其中的关系形成了定义连接模式的边缘.为了获得有效的结构表示，采用了顺序嵌入策略，其中迭代处理三元组以学习最优表示.使用Xavier初始化实体嵌入，这是一种广泛用于神经网络权重初始化的技术，可确保嵌入在潜在空间内均匀分布.由此产生的结构嵌入被映射到与文本和视觉嵌入相同的Rd空间，确保无缝集成.

由于文本嵌入、视觉嵌入和结构嵌入在维度上存在差异，本文引入模态特定的映射函数，将不同模态的表示投射到统一的嵌入空间中.这个映射函数被实现为一个多层感知器（MLP）网络，其中包含针对每个模态定制的激活函数.最终的多模态实体嵌入是通过将所有表示对齐到一个共同的Rd空间来获得的，从而确保了模态之间的一致性.

2.1.1 自适应融合机制

为了构建统一的多模态嵌入，本文引入了一种动态调整文本和视觉信息贡献的融合机制.设{\mathrm{e}}_{\mathrm{T}}和{\mathrm{e}}_{\mathrm{V}}分别表示实体的文本嵌入和视觉嵌入.为了确保每个模态的贡献最优，分配了可学习的权重矩阵{\mathrm{W}}_{\mathrm{T}}和{\mathrm{W}}_{\mathrm{V}}，由两个张量α和\mathrm{\beta }参数化，使得：

[{\mathrm{W}}_{\mathrm{T}},{\mathrm{W}}_{\mathrm{V}}]=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(\left[\mathrm{\alpha },\mathrm{\beta }\right]\right) .（3）

其中{\mathrm{W}}_{\mathrm{T}} + {\mathrm{W}}_{\mathrm{V}} = {\mathrm{W}}_{\mathrm{j}\mathrm{o}\mathrm{i}\mathrm{n}\mathrm{t}}确保两种模式的组合贡献保持归一化.为了进一步完善融合过程，引入了一种门控机制，选择性地强调每个实体最相关的模态.这个门控函数建模为：

\mathrm{g}\mathrm{a}\mathrm{t}\mathrm{e}=\mathrm{\sigma }({\mathrm{W}}_{\mathrm{T}}{\mathrm{e}}_{\mathrm{T}}+{\mathrm{W}}_{\mathrm{V}}{\mathrm{e}}_{\mathrm{V}}) .（4）

其中\mathrm{\sigma }()为sigmoid激活函数，保证门控值保持在有界范围（0，1）内.然后将最终的复合嵌入计算为文本嵌入和视觉嵌入的加权和：

{\mathrm{e}}_{\mathrm{f}}=\mathrm{g}\mathrm{a}\mathrm{t}\mathrm{e}\bullet {\mathrm{e}}_{\mathrm{V}}+(\mathrm{1}-\mathrm{g}\mathrm{a}\mathrm{t}\mathrm{e})\bullet {\mathrm{e}}_{\mathrm{T}} .（5）

这种方法支持自适应特征融合，允许在每个实体的基础上调整模态贡献.然而这种融合机制并没有充分利用多模态信息的丰富结构.为了进一步增强特征提取，引入了一种多专家学习机制.

2.1.2 基于专家的特征提取

受混合专家（MoE）架构启发，引入了一种专门的专家机制来改进多模态特征表示，旨在提取从多个专家处学习到的潜在特征.每个专家网络专门从复合嵌入{\mathrm{e}}_{\mathrm{f}}中提取不同的语义属性.这种多视角的方法确保了特征提取过程中没有关键信息丢失.每个专家接收{\mathrm{e}}_{\mathrm{f}}作为输入，并产生一个专家特定的输出{\mathrm{\alpha }}_{\mathrm{k}}，计算如下：

{\mathrm{\alpha }}_{\mathrm{k}}=\mathrm{\phi }({\mathrm{e}}_{\mathrm{f}}{\mathrm{W}}_{\mathrm{k}}^{\mathrm{T}}+{\mathrm{1}}_{\mathrm{B}}{\mathrm{b}}_{\mathrm{k}}^{\mathrm{T}})\odot {\mathrm{e}}_{\mathrm{f}} .（6）

其中，{\mathrm{W}}_{\mathrm{k}}^{}∈Rd×d是专家特定的权重矩阵，{\mathrm{b}}_{\mathrm{k}}^{}∈Rd是偏差项，\mathrm{\phi }（）是激活函数（Tanh），确保了非线性，⊙代表Hadamard积，保留了元素相关关系，{\mathrm{\alpha }}_{\mathrm{k}}∈RB×d为专家k的批量输出，B为批量大小.考虑到不同的专家捕获不同的特征表示，引入了一种门机制来动态确定每个专家的贡献.门控函数为每个实体计算K个专家的概率分布，确保最相关的专家得到强调.形式上，门控权值\mathrm{g}计算为：

\mathrm{g}=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}({\mathrm{e}}_{\mathrm{f}}{\mathrm{W}}_{\mathrm{g}}^{\mathrm{T}}+{\mathrm{1}}_{\mathrm{B}}{\mathrm{b}}_{\mathrm{g}}^{\mathrm{T}}) .（7）

其中，{\mathrm{W}}_{\mathrm{g}}^{},{\mathrm{b}}_{\mathrm{g}}^{}为门控网络的权值和偏置.\mathrm{g}中的每一行表示给定实体的K个专家的概率分布.一旦计算出专家的分数，专家的输出就会堆叠起来，形成一个3D张量，类似地，扩张门控权值以匹配专家张量形状，然后将最终的专家驱动实体嵌入{\mathrm{e}}_{\mathrm{e}\mathrm{x}\mathrm{p}\mathrm{e}\mathrm{r}\mathrm{t}\mathrm{s}}计算为专家输出的加权和：

{\mathrm{e}}_{\mathrm{e}\mathrm{x}\mathrm{p}\mathrm{e}\mathrm{r}\mathrm{t}\mathrm{s}}={\sum }_{\mathrm{k}=\mathrm{1}}^{\mathrm{K}}{\mathrm{g}}_{\mathrm{e}\mathrm{x}\mathrm{p}\mathrm{a}\mathrm{n}\mathrm{d}\mathrm{e}\mathrm{d}}\left[:,\mathrm{k},:\right]\odot \mathrm{A}\left[:,\mathrm{k},:\right] .（8）

2.2 时序嵌入

为获取时序知识图谱中实体、关系与时间戳的嵌入表示，可采用时序知识图谱嵌入算法.其中，TComplEx作为时序知识图谱嵌入领域的经典方法，具备生成高质量嵌入表示的能力.为进一步提升嵌入质量，该方法引入了额外的正则化约束机制，具体包含时间平滑性约束与时间一致性约束两类核心约束.

TComplEx方法存在一定的局限性：它主要依赖结构化时序关系建模，未显式融合文本、图像等多模态信息.在TKGQA任务中，丰富的特征表示对于准确推理和答案获取至关重要.为了弥补 TComplEx的这一不足，本文在TComplEx基础上扩展，将多模态特征融入四元组(\mathrm{h},\mathrm{r},\mathrm{t},\mathrm{\tau })的嵌入过程，核心是增强实体/关系的复数嵌入并引入模态-时间交互.具体来说，需要将实体与关系的多模态进行复数嵌入，对于实体嵌入需要将原始TComplEx的实体嵌入\mathrm{e}\in {\mathbb{C}}^{\mathrm{k}}与多模态融合向量结合：{\mathrm{e}}_{\mathrm{m}\mathrm{u}\mathrm{l}\mathrm{t}\mathrm{i}}=\mathrm{e}+\mathrm{\alpha }\cdot {\mathrm{e}}_{\mathrm{e}\mathrm{x}\mathrm{p}\mathrm{e}\mathrm{r}\mathrm{t}\mathrm{s}\mathrm{i}}^{\mathbb{C}}；对于关系嵌入，采用类似方式融合文本特征：{\mathrm{r}}_{\mathrm{m}\mathrm{u}\mathrm{l}\mathrm{t}\mathrm{i}}=\mathrm{r}+\mathrm{\beta }\cdot {\mathrm{r}}_{\mathrm{t}\mathrm{e}\mathrm{x}\mathrm{t}}^{\mathbb{C}}，其中\mathrm{r}为原始 TComplEx 的关系嵌入，{\mathrm{r}}_{\mathrm{t}\mathrm{e}\mathrm{x}\mathrm{t}}^{\mathbb{C}}为关系文本描述的复数映射特征，\mathrm{\alpha }\mathrm{、}\mathrm{\beta }为模态特征的权重超参数，可通过训练学习.时间戳\mathrm{\tau }的嵌入需考虑多模态数据的时序变化（如同一实体在不同时间的图像可能不同），因此，为每个时间戳\mathrm{\tau }设计模态感知的复数时间向量{\mathrm{W}}_{\mathrm{\tau },\mathrm{m}\mathrm{u}\mathrm{l}\mathrm{t}\mathrm{i}}={\mathrm{W}}_{\mathrm{\tau }}+\mathrm{{\rm Y}}\bullet \mathrm{M}\mathrm{L}\mathrm{P}({\mathrm{t}}_{\mathrm{\tau },\mathrm{m}\mathrm{u}\mathrm{l}\mathrm{t}\mathrm{i}}^{\mathbb{C}})，其中{\mathrm{t}}_{\mathrm{\tau },\mathrm{m}\mathrm{u}\mathrm{l}\mathrm{t}\mathrm{i}}^{\mathbb{C}}是时间\mathrm{\tau }对应的多模态特征（如某事件在\mathrm{\tau }时刻的新闻文本+ 现场照片），MLP将其映射为时间嵌入的修正项.

本文引入新的多模态四元组评分函数，对TComplEx的评分函数进行拓展，融入多模态信息，如公式（9）所示.第一项保留TComplEx的复数点积逻辑，但使用多模态增强的实体、关系和时间嵌入；第二项为跨模态对齐项，通过计算\mathrm{h}和\mathrm{t}在文本/图像空间的相似度，确保多模态语义一致，\mathrm{M}\mathrm{o}\mathrm{d}\mathrm{a}\mathrm{l}\mathrm{A}\mathrm{l}\mathrm{i}\mathrm{g}\mathrm{n}(\mathrm{h},\mathrm{t},\mathrm{\tau })=\mathrm{S}\mathrm{i}\mathrm{m}\left({\mathrm{h}}_{\mathrm{t}\mathrm{e}\mathrm{x}\mathrm{t}},{\mathrm{t}}_{\mathrm{t}\mathrm{e}\mathrm{x}\mathrm{t}}\right)+\mathrm{S}\mathrm{i}\mathrm{m}\left({\mathrm{h}}_{\mathrm{i}\mathrm{m}\mathrm{g}},{\mathrm{t}}_{\mathrm{i}\mathrm{m}\mathrm{g}}\right).

\mathrm{f}(\mathrm{h},\mathrm{r},\mathrm{t},\mathrm{\tau })=\mathrm{R}\mathrm{e}({\sum }_{\mathrm{i}}{\mathrm{h}}_{\mathrm{m}\mathrm{u}\mathrm{l}\mathrm{t}\mathrm{i},\mathrm{i}}\cdot {\mathrm{r}}_{\mathrm{m}\mathrm{u}\mathrm{l}\mathrm{t}\mathrm{i},\mathrm{i}}\bullet \overline{{\mathrm{t}}_{\mathrm{m}\mathrm{u}\mathrm{l}\mathrm{t}\mathrm{i},\mathrm{i}}}\bullet \overline{{\mathrm{W}}_{\mathrm{\tau },\mathrm{m}\mathrm{u}\mathrm{l}\mathrm{t}\mathrm{i},\mathrm{i}}})+\mathrm{\lambda }\bullet \mathrm{M}\mathrm{o}\mathrm{d}\mathrm{a}\mathrm{l}\mathrm{A}\mathrm{l}\mathrm{i}\mathrm{g}\mathrm{n}(\mathrm{h},\mathrm{t},\mathrm{\tau }) .（9）

为确保基于上述多模态时序嵌入与图谱结构的兼容性，使用二元交叉熵损失函数，作为时间戳嵌入的模态一致性约束，其计算公式如公式（10）所示

\mathrm{ℒ}={\mathrm{ℒ}}_{\mathrm{T}\mathrm{C}\mathrm{o}\mathrm{m}\mathrm{p}\mathrm{l}\mathrm{E}\mathrm{x}}+\mathrm{\mu }\cdot {\mathrm{ℒ}}_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{a}\mathrm{l}}+\mathrm{\nu }\cdot {\mathrm{ℒ}}_{\mathrm{t}\mathrm{e}\mathrm{m}\mathrm{p}} .（10）

其中，{\mathrm{ℒ}}_{\mathrm{T}\mathrm{C}\mathrm{o}\mathrm{m}\mathrm{p}\mathrm{l}\mathrm{E}\mathrm{x}}为基础四元组分类损失，采用二元交叉熵形式，用于区分真实四元组与负采样四元组；{\mathrm{ℒ}}_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{a}\mathrm{l}}={{\sum }_{(\mathrm{h},\mathrm{t})}‖\mathrm{P}\mathrm{r}\mathrm{o}\mathrm{j}\left({\mathrm{h}}_{\mathrm{t}\mathrm{e}\mathrm{x}\mathrm{t}}\right)-\mathrm{P}\mathrm{r}\mathrm{o}\mathrm{j}\left({\mathrm{h}}_{\mathrm{i}\mathrm{m}\mathrm{g}}\right)‖}_{\mathrm{2}}^{\mathrm{2}}（\mathrm{P}\mathrm{r}\mathrm{o}\mathrm{j}为投影到同一语义空间的线性层）为模态对齐损失，惩罚跨模态语义不一致（如文本描述与图像内容冲突）；{\mathrm{ℒ}}_{\mathrm{t}\mathrm{e}\mathrm{m}\mathrm{p}}={{\sum }_{\mathrm{\tau }}‖{\mathrm{t}}_{\mathrm{\tau },\mathrm{m}\mathrm{u}\mathrm{l}\mathrm{t}\mathrm{i}}-{\mathrm{t}}_{\mathrm{\tau }+\mathrm{1},\mathrm{m}\mathrm{u}\mathrm{l}\mathrm{t}\mathrm{i}}‖}_{\mathrm{2}}^{\mathrm{2}}为时间- 模态平滑损失，确保相邻时间戳的模态特征变化连续.

3 实验

3.1 实验设置

为了评估MM-TComplEx的性能，本文使用CN-DBpedia-Time-Image、XLore-Multimodal-Temporal和DuEE-MultiModal-Temporal三个预处理数据集.它们均同时具备多模态信息（文本、图像）、时序信息（时间戳）以及结构化时序四元组表示（实体—关系—实体—时间）等特征.其主要统计信息如表1所示.

本文采用了两个广泛使用的基于排名的评估指标：平均倒数排名和Hits@k.这些指标衡量模型对知识图四元组中缺失实体正确排序的能力.给定一个由N个四元组组成的测试集，其中每个四元组（h，r，t，\tau）都有一个相应的真实排名，评估指标定义如下：

平均倒数排名（MRR）度量评估排名列表中正确实体的平均倒数排名.MRR值越高，表示模型对正确实体的排序越高.MRR评分计算公式为：

\mathrm{M}\mathrm{R}\mathrm{R}=\frac{\mathrm{1}}{\mathrm{N}}{\sum }_{\mathrm{i}=\mathrm{1}}^{\mathrm{N}}\frac{\mathrm{1}}{\mathrm{r}\mathrm{a}\mathrm{n}{\mathrm{k}}_{\mathrm{i}}} .

Hits@k度量量化在模型生成的前k个预测中出现的正确实体的百分比.它提供了一个直观的理解，即模型在顶级候选对象中对正确实体进行排名的频率.本文选取Hits@1、Hits@3和Hits@10，计算方法如下：

\mathrm{H}\mathrm{i}\mathrm{t}\mathrm{s}@\mathrm{k}=\frac{\mathrm{1}}{\mathrm{N}}{\sum }_{i=\mathrm{1}}^{N}I\left(\mathrm{r}\mathrm{a}\mathrm{n}{\mathrm{k}}_{\mathrm{i}}\le \mathrm{k}\right)，

其中\mathrm{I}（\bullet）是一个指示函数，如果正确实体的排名在前k内，则返回1，否则返回0.

选取了如下4种基准模型在三个数据集上进行了对比实验.

1）TComplEx^［18］：纯结构化时序模型，仅用复数嵌入建模时序，无多模态.

2）MPlexGNN^［19］：非时序多模态模型，图神经网络+ 多模态特征，无时间维度.

3）Time-VLM^［20］：先进的多模态时序模型，采用了时间序列、图像、文本三种模态的数据形式进行时间序列预测.

4）CLIP+ TComplEx：组合模型，多模态特征与时序嵌入简单拼接.

上述所有实验均在Nvidia RTX 3090上进行.在训练中，本章工作采用Adam优化器，学习率为5e-4，批次大小设置为1 024.边际参数γ为1.0，模态权重α为0.5.训练轮次设置为200.

3.2 实验结果分析

实验结果如表2所示.基于三个数据集的测试均值，本文提出的MM-TComplEx在时序链接预测的实体预测与时间预测任务中，所有关键指标均全面超越TComplEx、MPlexGNN、Time-VLM、CLIP+TComplEx四类基线模型.实体预测任务中，MM-TComplEx的 Hits@1达0.85，较CLIP+TComplEx提升0.06；Hits@10达0.92，高于Time-VLM0.04；MRR达0.83，较TComplEx提升0.11，展现出对实体与关系关联的精准建模能力；时间预测任务中，其Hits@10达0.83，较Time-VLM提升0.2；MRR达0.84，较CLIP+TComplEx提升0.26，验证了对“时序关系时间戳”的高效预测性能.该优势源于模型的核心设计，通过多模态信息融合补充语义描述，借助时间感知机制捕捉时序动态，最终实现对多模态与时间信息的有效捕获.

4 结论

针对传统静态知识图谱难以有效建模时序动态性与多模态信息、进而限制推理问答任务性能的核心问题，本研究以提升多模态时序知识图谱嵌入质量为目标，围绕多模态时序知识图谱的构建、多模态融合及知识推理展开系统研究，并针对主流知识图谱嵌入方法在单一模态表达和隐含时间信息建模方面的不足，提出了基于时间感知约束的MM-TComplEx嵌入框架.

该框架通过自适应门控融合机制与多专家网络实现多模态信息的深度对齐，有效突破单一模态的表达局限；将经典时序嵌入模型TComplEx扩展至复数空间，实现多模态特征与时序信息的协同建模；并采用基础损失、模态对齐损失和时序平滑损失的混合损失函数，保障了嵌入表示的语义一致性与时序连续性，为复杂时序场景下的知识建模提供了高效解决方案.

实验结果表明，在CN-DBpedia-Time-Image、XLore-Multimodal-Temporal和DuEE-MultiModal-Temporal三个中文多模态时序数据集上，MM-TComplEx在实体预测（Hits@1=0.85、MRR=0.83）与时间预测（Hits@10=0.83、MRR=0.84）任务中均显著优于 TComplEx、MPlexGNN等主流基线模型，充分验证了其在多模态时序知识建模上的优越性.

本研究构建的多模态时序嵌入框架，不仅丰富了知识图谱表示学习的技术体系，为多模态时序知识图谱在推理问答、动态事件预测等智能任务中的应用提供了高质量知识支撑；未来可进一步探索音频、视频等复杂模态的融入机制，优化模型在大规模多模态时序知识图谱上的计算效率，并结合大语言模型的深层语义理解能力，推动多模态时序知识推理的端到端落地.

参考文献

[1] 葛依琳， 孙海春， 袁得嵛. 融合多模态知识与有监督检索的视觉问答模型［J］. 计算机科学与探索， 2025，19（8）： 2203-2218.

[2] 吴宗航， 张东， 李冠宇. 基于联合自监督学习的多模态融合推荐算法［J］. 计算机应用， 2025，45（6）：1858-1868.

[3] 张换香， 李梦云， 张景. 基于多模态信息融合的中文隐式情感分析［J］. 计算机工程与应用， 2025，61（2）：179-190.

[4] 范勇， 张政波， 王晶. 基于深度学习的电子病历多模态数据融合研究进展［J］. 生物医学工程学杂志， 2024，41（5）： 1062-1071.

[5] 马浩然， 王金华. 基于图结构与元素信息融合的实体对齐技术［J］. 科技导报， 2024，42（18）：98-109.

[6] 陈囿任， 李勇， 温明， 等. 多模态知识图谱融合技术研究综述［J］. 计算机工程与应用， 2024，60（13）：36-50.

[7] 徐金诚， 葛云生. TransE-KCB： 一种改进负样本采样的知识图谱表示方法［J］. 计算机应用与软件， 2024，41（8）：345-350.

[8] 李忠良， 陈麒， 石琳， 等. 时间感知组合的动态知识图谱补全［J］. 浙江大学学报（工学版）， 2024，58（8）：1738-1747.

[9] 王雪钰. 基于知识推理的图谱补全算法研究与实现［D］. 北京： 北京邮电大学， 2024.

[10] TIAN Y L， WANG Y， KRISHNAN D，et al.Rethinking few-shot image classification：A good embedding is all you need？［M］//Computer Vision-ECCV 2020.Cham：Springer，2020：266-282.

[11] ZHANG J H， ZAN H Y， WU S N，et al.Adaptive graph neural network with incremental learning mechanism for knowledge graph reasoning［J］. Electronics，2024，13（14）： 2778.

[12] 陈强， 张栋， 李寿山， 等. 融合任务知识的多模态知识图谱补全［J］. 软件学报， 2025，36（4）：1590-1603.

[13] 刘畅成， 桑磊， 李炜， 等. 大语言模型驱动的多元关系知识图谱补全方法［J］. 计算机科学， 2025，52（1）：94-101.

[14] 朱玉亮， 刘俊涛， 饶子昀， 等. 融合HousE和注意力机制的知识推理模型［J］. 计算机科学， 2024，51（S1）：135-142.

[15] 武月佳， 周建涛. DL~+：一种增强型双层知识图谱推理框架［J］. 计算机科学， 2023，50（12）：302-313.

[16] 陈博洋. 基于规则的知识图谱推理算法研究与实现［D］. 北京： 北京邮电大学， 2023.

[17] DONG L J， ZHAO D Y， ZHANG X A，et al.Anchors-based incremental embedding for growing knowledge graphs［J］. IEEE Transactions on Knowledge and Data Engineering，2023，35（4）：3458-3470.

[18] LACROIX T， OBOZINSKI G， USUNIER N. Tensor decompositions for temporal knowledge base completion［C］//International Conference on Learning Representations. Addis Ababa， Ethiopia： OpenReview， 2020．

[19] D’SOUZA N S， WANG H Z， GIOVANNINI A， et al. Fusing modalities by multiplexed graph neural networks for outcome prediction from medical data and beyond［J］. Medical Image Analysis， 2024， 93： 103064.

[20] ZHONG S R， RUAN W L， JIN M， et al. Time-VLM： Exploring multimodal vision-language models for augmented time series forecasting［EB/OL］. 2025： arXiv： 2502.04395.