随着互联网的不断发展,社交媒体成为主要新闻来源,而其中隐藏着的部分虚假信息,会对社会造成恶劣影响。社交媒体数据量大,自动的虚假新闻检测十分必要。事实核查能够准确且直观地反映信息的真实性,自动事实核查(Automated Fact-Checking)是应对虚假信息传播的关键技术。大语言模型(Large Language Model, LLM)驱动的智能体能够对其所处环境进行推理,并通过调用外部工具或执行内部操作来做出决策
[1],近期研究赋予了智能体系统调用搜索引擎等外部工具的能力
[2-4]。Quelle等
[5]探索了利用LLM调用搜索工具,结合外部知识进行事实核查。检索增强生成(Retrieval-Augmented Generation, RAG)模型由FAIR(Facebook AI Research)团队提出
[6],通过从外部知识库中检索相关信息,并将其作为提示输入LLM,以增强模型处理知识密集型任务的能力。LLM指令微调(Instruction Tuning)是对预训练模型进行二次训练,使其能够理解并执行自然语言指令的技术。低秩适应(Low-Rank Adaptation, LoRA)
[7]是一种模型的轻量微调方法,通过向模型的部分层添加可训练的低秩矩阵模块,实现模型在特定任务上的能力调整。
在验证阶段,Sun等
[8]提出了一种基于马尔可夫链的多智能体辩论方法,让智能体基于检索到的证据进行协同决策。Wang等
[9]利用LLM,将待检测信息转化为一阶逻辑子句,再转化为事实核查的具体问题,通过调用外部工具得到对应知识。Zheng等
[10]提出了一种专注于证据检索阶段的事实核查框架,由混合证据检索和联合事实验证两个主要模块组成。Niu等
[11]介绍了一种通过从给定新闻中提取核心事实,并进行全网搜索以识别支持或冲突的报道,利用来源的可信度进行验证的事实核查方法。Xie等
[12]提出的迭代检索框架FIRE通过动态决策降低计算与搜索成本。Zhang等
[13]提出一个可强化跨源推理的3层证据图与证据条件提示机制。陈静等
[14]提出一种知识增强的异质图注意力虚假信息检测方法,通过异质文本图与双层图注意力机制,增强模型对帖文的内容细粒度语义感知和多视角捕捉虚假线索的能力。现有方法常面临效率与推理深度难以兼顾的问题,固定推理流程导致效率低下,而单一的检索获取信息缺乏对证据多层级关联的深度挖掘。
为解决上述问题,本文提出一种融合迭代检索与多层级证据图推理的事实核查框架。该框架采用置信度引导的迭代检索机制,首先通过LLM内部知识对原声明做出判断,同时生成一个置信度,当置信度较低时,LLM将自动生成一个搜索查询并调用外部工具获取初始证据,避免单一依赖LLM内部知识。然后,框架对检索到的证据进行层级扩展,融入决策模块,提升低置信度场景的核查准确率。此外,对本地部署的模型进行LoRA
[7]微调处理,以提高LLM针对事实核查任务的内部知识储存,进一步提高核准确率以及降低模型搜索调用次数。本文在Factcheck-Bench
[2]和BingCheck
[15]数据集上进行了实验,结果表明,相比FIRE,所提框架在Macro
F1指标上实现了1%~6%的提升,并且模型调用搜索次数进一步减少;与SAFE
[16]相比,搜索次数最多降低7.4倍,实现了高效检索与深度推理的协同优化,为大规模复杂声明的事实核查提供了实用的解决方案。
1 所提方法
已有的迭代检索方法虽能有效控制搜索成本,却对已获取证据的语义关联与上下文理解不足,难以支撑复杂声明所需的深度推理;而基于图推理的深度验证方法虽能提升复杂声明的判断准确性,却缺乏对检索过程的动态调控,易导致资源浪费。针对上述局限,提出一个融合迭代检索与上下文增强推理的统一框架,通过引入数值化置信度引导机制,将模型对当前证据的判断确信程度量化为具体分数,并通过预设阈值实现检索深度的动态控制;同时构建3层证据图,对证据间关系进行建模,从而在低置信度场景下实现证据的深度语义理解与上下文增强推理。通过将检索停止时机与证据结构化处理统一优化,在维持高效查询的同时,显著提升对复杂声明的核查准确性。
1.1 问题定义与框架概览
评估长文本的事实准确性面临着巨大挑战
[17]。为解决这一问题,可将文本分解为单个可核查声明
[4],称为“原子声明”,逐一进行事实核查,随后汇总其事实性得分,以评估原始文本的整体事实准确性。自动化事实核查的任务是给定需要验证的原子声明
,输出一个二分类标签
,分别表示声明被支持或反驳。该过程不仅依赖LLM内部知识
,更需要从开放域,如互联网中动态检索相关外部证据集
。为实现上述过程,提出一种置信度引导迭代检索与证据图推理的事实核查方法,具体流程如
图1所示。
其目标是通过一个智能体,依托自身置信度决策终止验证并输出判断的时机,在信息不足时生成搜索查询以获取外部证据。这一过程需在验证准确性、LLM调用与搜索API费用之间取得平衡。
首先,智能体接收输入声明后,将基于当前证据(初始为空)和内部知识进行初步评估。若智能体对判断具有高置信度,则直接输出结果,否则生成一个优化的搜索查询。其次,新检索到的证据先经由一个上下文增强推理模块进行处理。该模块为证据构建包含其来源上下文与相关引用的3层图结构,并通过图神经网络进行语义增强与融合,输出增强的证据表示。更新后的证据池再被送入决策模块,开启下一轮迭代。最后,上述循环持续进行,直至满足置信度阈值或达到预设的最大迭代次数。这种设计使每一次检索都建立在已有证据的深度理解之上,而每一次推理又为下一次检索提供了更精准的方向。
1.2 迭代决策智能体模块
该模块为框架的核心,其原理是将声明输入智能体模块,LLM将对能否判断声明标签生成一个置信度评分,若置信度高于/等于设定的阈值,则直接得出判断结论;若低于设定的阈值,则LLM将生成一个搜索查询,并调用搜索工具进行搜索。置信度分数由LLM依据对证据的充分性、内部一致性与冲突程度的评估,将该评估映射为区间的概率性度量,该分数反映了模型对自身判断的确信程度。
图2为在每一步迭代中,模型基于当前知识判断是否足够自信做出最终结论的提示词。
迭代搜索过程依赖决策函数,该函数用于评估系统针对现有信息做出最终事实判断的总体置信度。决策逻辑遵循简单的阈值规则,为预设的置信度阈值:
当搜索查询次数为,若置信度达到或超过,系统终止检索过程,输出当前的验证结果。反之,系统生成一个新的搜索查询,并从外部知识源获取进一步证据。此迭代过程持续进行,直至达到置信度要求或达到预设的最大检索轮次上限。通过设立这一机制,确保搜索行为仅在模型对当前证据的解释存疑时才触发,从而实现该框架成本优化。
1.3 上下文增强推理模块
该模块负责对迭代中检索的原始证据
进行深度加工,其目标是将证据句子转化为连接了相关背景知识的向量表示,并映射为一个质量分数。证据及其背景信息构成的异构图包含证据节点、上下文节点和参考文献节点3类节点,初始特征由预训练模型对相应文本进行编码。证据—上下文边依据文档结构建立,每个证据节点与其所属上下文文档节点直接相连;证据—参考文献边基于显式引用或超链接建立,连接证据节点与其引用的参考文献节点;证据层内边将同一声明所有证据节点全连接,以实现多证据推理。所有边均为无向边,构成消息传递的基础结构。
表1总结了节点类型与边连接方式。
首先,构建3级证据图,以原始证据作为核心节点,自动提取其所在文档或页面的相邻段落作为上下文层节点。节点之间通过引用关系和语义相似度进行连接,形成结构化的异质信息图。
其次,通过分层图注意力推理进行信息融合
[18]。采用分层的消息传递机制,首先在每一层内部进行节点聚合,捕捉局部上下文;然后进行跨层注意力聚合,采用分层图注意力机制进行多轮推理。模块包含
层Transformer,图消息传递从第1层开始逐层进行,让证据节点同时参与到相关的上下文和参考文献节点。该过程使用优化的图注意力网络实现,在注意力权重计算中引入了一个可学习的先验项,该先验项基于节点类型进行偏置,确保核心证据在信息整合中的主导地位。层内与跨层聚合后,通过不对称多头自注意力将上下文与参考文献信息融合进证据节点的表示。经过多轮迭代得到编码该证据及其相关背景联合信息的每个证据节点的增强嵌入
,为后续的证据质量过滤与事实核查模块提供结构化输入。
最后,引入证据质量过滤。所有检索到的内容并非同等可靠,通过一个质量评估器,根据证据来源的权威性、与声明的直接相关性以及自身陈述的明确性,为每个增强后的证据赋予一个质量分数。将证据加入全局证据池之前,分数低于阈值的证据将被丢弃,从而抑制低质量或无关信息的干扰。最终,通过质量过滤的增强证据嵌入与其对应的质量分数共同构成用于事实核查的证据表示,该表示既包含深度融合的语义信息,也反映了证据的可信度。
2 实验及分析
2.1 实验设置
本文实验采用了事实核查研究领域两个数据集Factcheck-Bench
[2]和BingCheck
[15]进行验证。Factcheck-Bench是一个全面的端到端评估框架,基于此框架构建了开放领域的事实性评测数据。BingCheck是一个专门针对大语言模型生成文本设计的事实核查数据集,其原始分布存在严重的类别不平衡,包含3 581条正确声明和仅42条错误声明。为构建一个公平有效的评估集,采用无放回简单随机抽样从正确声明中抽取100条,同时保留所有42条错误声明。该抽样策略缓解原始数据中类别不平衡问题的同时能够确保模型在少数类上的性能也能被准确评估,且随机抽样保证所选样本在统计意义上能够代表原始正确声明的整体分布。
本文基于Qwen3-8B模型以及DeepSeek-V3.2模型进行实验。评价指标包括真实/虚假样本的精确率、召回率、
F1值以及模型调用搜索次数。其中Qwen3-8B模型进行了LoRA微调操作。针对Qwen3-8B模型的微调使用Alpaca
[19]格式的指令数据进行训练
[20],Alpaca以(instruction, input, output)为结构,微调数据集为LIAR-RAW
[21],该数据集是一个专为可解释性假新闻检测构建的基准数据集。
为优化迭代检索过程的效率,有关参数控制如
表2所示。
模型判断是否得出答案的置信度阈值
为0.7,针对该阈值设定的实验结果如
表3所示,使用DeepSeek-V3.2在BingCheck数据集上进行了相关实验。
从
表3可以看出,当阈值设定为0.6时,虽模型调用搜索次数相当,但在真实和虚假样本识别率上均有一定下降;而当阈值设定为0.8时,其正负样本识别率无明显提升,但增加了模型调用搜索次数。采用Sentence-BERT(all-MiniLM-L6v2版本
[22])量化连续生成的搜索查询或检索结果之间的相似程度,借鉴Shashavali等
[23]在为控制误报率而设定的0.9阈值,在本任务中,0.9的阈值能精准捕捉重复查询,同时避免误判,实现精确率与召回率的平衡。当查询相似度超过该阈值时,触发迭代过程终止,避免向搜索引擎重复提交相似查询。
2.2 实验结果
为评估本文框架的综合性能,在BingCheck与Factcheck-Bench数据集上进行实验,并与原始FIRE
[12]以及SAFE
[16]等基线方法进行对比。FIRE是通过动态决策降低计算与搜索成本的迭代检索框架。SAFE是基于LLM的自动化事实核查方法,核心在于通过多轮搜索进行推理对事实进行相关性判断。
基于Factcheck-Bench与BingChek数据集的真实/虚假样本类精确率、召回率、
F1值如
表4所示。
在Factcheck-Bench上,本文方法在真实样本识别方面取得了与FIRE相当的表现,在DeepSeek-V3.2模型上精确率、召回率与F1值分别为0.92、0.81与0.86,较FIRE方法有一定的提升,而在虚假样本识别方面,同样如此。在Qwen3-8B模型上,经过LoRA微调后表现出更优的虚假识别能力,本文方法在该模型上的虚假样本识别指标分别达到0.66、0.81与0.73,对比其他基线方法,虚假样本的识别指标有明显提高。在BingCheck数据集上,本文方法继续表现出良好的适应性,在DeepSeek-V3.2模型上真实样本识别精确率、召回率与F1值分别为0.87,0.91和0.89,F1值较SAFE和FIRE方法都有提高。在Qwen3-8B模型上也展现出相同趋势的提高。本文方法在两个模型上的真实召回率均达到0.90以上,显示出较强的真实样本覆盖能力。
本文与基线方法在两个数据集上调用搜索数对比柱状图如
图3所示,其中:横坐标代表各个方法;纵坐标代表搜索次数;蓝色格纹柱形表示本文方法。
使用Qwen模型时,在Factcheck‑Bench上SAFE方法共触发3 155次搜索,而本文方法仅触发425次,即SAFE方法调用搜索数约为本文方法的7.4倍。在BingCheck上趋势同样明显。而在使用DeepSeek模型时,相较SAFE方法本文方法的搜索次数分别降低约69.7%和70.6%。同时,在两个模型和数据集上,本文方法的搜索次数均较FIRE方法进一步降低。本文方法在保持较高识别性能的同时,显著降低了对外部检索的依赖,说明将迭代检索与深度证据推理相结合的策略有效,且动态决策机制在成本控制上拥有优势。
表5列出了部分模型判断成功与失败的案例。从案例可见,该方法在具有高共识度的声明上表现稳健,如“放松训练有助于缓解压力”属普遍共识性判断,模型在不进行检索的情况下亦能给出正确结论;当声明包含明确线索时,如“AAP”与“成人”同时存在,模型能够构造针对性查询并据此识别该声明中指南适用范围的不匹配,从而做出否定判断。
相对地,方法在涉及数值精确度与表述粒度的反例上易出现误判,例如“马里亚纳海沟深度为11 km”在公开资料中多以“约11 km”呈现,检索结果的近似一致性会被模型吸收为正向证据,未能区分测量不确定性与标签标准的严格等同性要求。
同时,由总体识别结果可知,模型针对虚假样本识别率偏低,而真实识别率较高,可见模型存在将声明判为真的系统性偏向。
2.3 消融实验
为验证本文各模块的有效性,使用DeepSeek-V3.2在BingCheck数据集上进行消融实验,实验设置无检索、无上下文语义增强和无质量过滤3个条件,并与本文完整框架效果对比,以评估各模型在事实核查任务中的必要性,实验结果如
表6所示。
在无搜索的情况下,LLM倾向于将更多样本判断为真实,虚假样本的识别受到严重影响,其精确率与召回率均显著下降,表明LLM在缺乏外部实时证据支持时,对于虚假声明的识别能力有限。无上下文语义增强模块时,框架缺乏对检索结果与待核查声明之间深层次语义的分析,框架的精确率与F1值均未达到最优水平,说明仅依靠检索获取的证据,难以充分支撑模型对声明做出判断。无质量过滤模块时,框架虚假精确率低于完整模型,说明未经筛选的检索结果中可能包含无关或低可信度的信息,干扰模型决策,降低判断的准确性。本文集成迭代检索、上下文语义增强与证据质量过滤的完整框架在各项指标上实现了最佳平衡。消融实验验证了各模块设计的有效性,3个关键模块共同提升了本文自动事实核查框架对于声明的识别能力。
3 结束语
本文提出一种融合动态迭代检索与上下文增强推理机制的自动事实核查框架,旨在系统性解决开放域自动化事实核查中效率与准确性难以兼顾的问题,提供一种平衡自动化事实核查中的效率与准确性问题的方案。该框架通过多阶段自适应的证据获取与深度语义理解策略,提升了LLM推理可靠性与决策可解释性。实验结果表明,本框架在Factcheck-Bench与BingCheck两个数据集上均表现出稳定的综合性能,在维持高准确性的同时降低了对外部检索资源的依赖与调用搜索开销,验证了其维持高准确性的同时降低计算与检索成本,为进一步探索融合多模态证据、引入长期记忆机制以及面向开放域复杂声明的可扩展验证系统提供参考。
河南省科技攻关项目(252102211040)
河南省自然科学基金(252300420990)