一种基于程序依赖语义嵌入的可解释性漏洞检测方法

An Explainable Vulnerability Detection Method Based on Program Dependency Semantic Embedding

摘要

当前基于图神经网络的漏洞检测方法难以有效建模代码长距离依赖与深层语义，而基于大语言模型的方法又缺乏对程序结构的显式感知，导致漏洞定位与解释能力不足。为此，提出一种融合程序依赖语义嵌入与解码器推理的漏洞可解释性分析框架（DEPVulDet）。设计专用编码器捕获程序依赖中的控制依赖和数据流语义特征，通过轻量级线性映射将其对齐至解码器大模型的语义空间；解码器基于映射后的表示进行漏洞检测，并引入基于思维链的多轮对话训练机制，增强模型对漏洞位置、上下文及成因的逻辑推理与解释能力。实验表明，DEPVulDet的准确率分别达到69.6%与95.7%，F1分数分别为71.5%与48.1%，多项指标优于对比方法。

Abstract

Current vulnerability detection methods based on graph neural networks struggle to effectively model long-range dependencies and deep semantic features in code, whereas approaches leveraging large language models lack explicit structural awareness of programs, resulting in insufficient capabilities for vulnerability localization and interpretability. An explainable vulnerability analysis framework DEPVulDet, that integrates program dependency semantic embedding with decoder-based reasoning, is proposed. A dedicated encoder is employed to capture control and data-flow semantic features from program dependencies, which is then aligned into the semantic space of a large language model of the decoder via a lightweight linear mapping mechanism. The decoder is used to perform vulnerability detection based on the mapped representations, while a chain-of-thought-inspired multi-turn dialogue training strategy is introduced to enhance the model’s logical reasoning and explanatory capability regarding vulnerability locations, contextual dependencies, and root causes. Experimental results show the accuracy of DEPVulDet reaches 69.6% and 95.7% respectively, with its F1-scores standing at 71.5% and 48.1%, exhibiting superior performance over the comparison methods on various evaluation metrics.

Graphical abstract

关键词

漏洞检测 / 编码器 / 解码器 / 可解释性 / 程序依赖

Key words

vulnerability detection / encoder / decoder / explanability / program dependency

随着软件系统日益复杂，漏洞数量持续攀升，仅2024年新增漏洞已超过4万例，严重威胁软件安全。在此背景下，高效准确的漏洞检测技术已成为保障软件安全的关键防线。

深度学习在漏洞检测领域展现出巨大潜力。当前主流方法分为两类：1）基于图神经网络（Graph Neural Networks, GNN）的方法^[1-2]能有效建模程序依赖图（Program Dependence Graph, PDG）和控制流图（Control Flow Graph, CFG）等结构化表示。研究表明，其性能显著优于基于词法单元（Token）的序列分析方法^[3-4]。2）基于大语言模型（Large Language Model, LLM）的方法^[5]则通过编码器（如CodeBERT）或生成式模型（如Llama）学习代码语义特征。然而，GNN方法^[6-7]在处理复杂图时难以建模长距离依赖关系，对深层语义理解有限。LLM方法^[8-9]虽有较强语义理解能力，但缺乏对程序结构的显式建模，难以聚焦漏洞相关的局部依赖。此外，现有方法^[10-11]普遍缺乏对漏洞成因的合理归因与精准定位能力。

针对上述问题，本文提出编码器—解码器协同工作的漏洞检测方法，通过专用编码器捕获程序语义和依赖信息，利用轻量级映射转换为与大模型语义空间匹配的表示。同时，设计基于思维链的漏洞解释推理机制，使模型能生成逻辑连贯的漏洞成因分析。

综上所述，本文的主要贡献如下：

1）设计了编码器、解码器协同工作的方法，其中，编码阶段专注于捕获代码语义和程序依赖信息，解码阶段基于编码结果完成漏洞检测与解释。

2）提出基于静态分析的漏洞线索提取算法，在开源漏洞数据集上构建高质量训练样本，采用多任务自我指导微调方法提升模型对漏洞的解释能力。

3）实现了完整的漏洞检测框架DEPVulDet，在真实漏洞代码数据集上的实验表明，本方法在检测准确率和可解释性方面均优于现有主流方法。

1 本文方法

DEPVulDet架构如图1所示，主要包含基于编码器—解码器的漏洞检测方法和基于思维链的增强漏洞解释训练两大部分。前者通过程序依赖编码器捕获语义信息，经轻量级映射对齐至大模型语义空间，实现漏洞识别；后者将漏洞样本转化为多轮对话数据，引入代码片段与成因分析，通过参数高效微调（Parameter-Efficient Fine-Tuning, PEFT），使解码器具备检测与解释双重能力。

1.1 基于程序依赖的源代码编码器

本文提出一种编码器与解码器协同工作的漏洞检测与解释框架。在该框架中，解码器选用自然语言处理领域表现优异的Qwen2模型，而编码器则基于BERT架构^[12]设计，专注于捕获代码中的程序依赖语义信息。本节将详细阐述编码器的结构设计、训练方法以及其与解码器之间的语义映射机制。

表1展示了常见漏洞类型与其相关程序结构之间的对应关系。结果表明，在13类典型漏洞中，10类（SQL注入、XSS（Cross-Site Scripting）、缓冲区溢出、内存泄漏、UAF（Use After Free）、整数溢出、不安全参数、空指针解引用、整数类型安全问题、除零漏洞）通过数据流图（Data Flow Graph, DFG）建立语义关联，3类（缺少权限检查、条件竞争、资源泄露）依赖CFG边进行传播。值得注意的是，所有高危漏洞（共7类）均与DFG或CFG存在直接映射关系，其中DFG占比约为71.43%，凸显数据流分析在漏洞检测中具有关键作用。基于这一发现，本文提出的编码器通过学习数据流与控制流依赖，实现对程序依赖语义信息的有效嵌入。

在先前的研究中，文献[13]提出了数据流边预测任务和节点对齐任务，增强了对代码中数据流语义的捕获能力。具体来说，边预测任务通过随机掩码数据流中20%的节点及其连接边，迫使模型学习变量之间“值从哪里来”的语义依赖关系；数据流节点对齐任务则通过掩码变量节点与源代码标记之间的关联，训练模型建立数据流图与源代码之间的精确映射，从而识别数据流中的特定变量及其在代码中的位置。在此基础上，本文进一步提出语句级控制依赖预测任务，以捕获程序中的控制依赖语义。首先，使用静态代码分析工具Joern提取函数的语句级PDG。PDG中的控制依赖边表示控制依赖关系。将源代码以语句级别编码为矩阵{\mathit{G}}^{\mathrm{c}}\in{\mathbf{R}}^{m_{\mathrm{c}}\times m_{\mathrm{c}}}（m_{\mathrm{c}}表示PDG中的语句级控制依赖图节点数量）,G_{i,j}^{\mathrm{c}}\in{1,0}表示节点j是否依赖于节点i。解析每个节点的Token序列，并对这些Token的上下文嵌入进行平均，得到节点的向量{\widehat{\mathit{h}}}_i，然后将其输入到多层感知机（Multi-Layer Perceptron, MLP），再由ReLU函数进行激活得到最终的表示{\mathit{h}}_i：

{\mathit{h}}_i=\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}[\mathrm{M}\mathrm{L}\mathrm{P}({\widehat{\mathit{h}}}_i)]（1）

使用双线性层来预测两个节点（j是否依赖于i）之间的控制依赖关系：

p_{i,j}=\sigma ({\mathit{h}}_i^{\mathrm{T}}{\mathit{W}}_{\mathrm{c}}{\mathit{h}}_j+{\mathit{b}}_{\mathrm{c}})（2）

式中：{\mathit{W}}_{\mathrm{c}}和{\mathit{b}}_{\mathrm{c}}是可训练参数；\sigma（·）是激活函数。最后根据预测概率和真实标签{\mathit{G}}^{\mathrm{c}}来计算交叉熵，作为控制依赖预测的损失函数：

L=\frac{\mathrm{1}}{\left|{\mathit{G}}^{\mathrm{c}}\right|}\sum _{i,j}[-{\mathit{G}}_{i,j}^{\mathrm{c}}\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{2}}{p}_{i,j}-(\mathrm{1}-{\mathit{G}}_{i,j}^{\mathrm{c}})\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{2}}(\mathrm{1}-p_{i,j})]（3）

通过联合训练数据流边预测任务、数据流节点对齐任务、语句级控制依赖预测任务及BERT原有的掩码语言模型任务，编码器能够全面捕获程序的依赖语义信息。

为实现代码嵌入与自然语言提示的有效融合，本文设计了一种轻量级映射机制，将编码器输出的代码嵌入转换至目标大语言模型的语义空间。首先，将源代码输入至编码器，并提取最后一个隐藏层状态{\mathit{x}}_{\mathrm{s}}，通过一个可训练矩阵\mathit{W}将{\mathit{x}}_{\mathrm{s}}转换为矩阵{\mathit{H}}_{\mathrm{s}}：

{\mathit{H}}_{\mathrm{s}}=\mathit{W}·{\mathit{x}}_{\mathrm{s}}（4）

转换后的代码嵌入{\mathit{H}}_{\mathrm{s}}与自然语言提示的词嵌入拼接，共同输入至LLM解码器进行后续处理。该映射机制参数量小，在降低模型复杂度的同时，有效保持了代码与自然语言在语义上的一致性。

1.2 解码器漏洞检测监督训练

解码器采用生成式大模型，负责接收上述自然语言嵌入和代码嵌入的拼接，并对其解码完成漏洞检测。本节详细阐述所提出的监督微调策略，旨在优化解码器在漏洞检测任务中的性能表现。

首先将自然语言（“Please check the following code for any potential vulnerabilities”）通过解码器的词嵌入层进行编码，得到自然语言嵌入表示{\mathit{E}}_{\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{m}\mathrm{p}\mathrm{t}}。随后，将源代码通过编码模型嵌入并经映射模型转换，得到代码语义嵌入{\mathit{E}}_{\mathrm{c}\mathrm{o}\mathrm{d}\mathrm{e}}。将二者进行拼接操作，形成解码器的完整输入表示：

{\mathit{X}}_{\mathrm{i}\mathrm{n}\mathrm{p}\mathrm{u}\mathrm{t}}=[{\mathit{E}}_{\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{m}\mathrm{p}\mathrm{t}};{\mathit{E}}_{\mathrm{c}\mathrm{o}\mathrm{d}\mathrm{e}}]（5）

本文采用参数高效微调与量化低秩适配（Quantized Low-Rank Adaptation, QLoRA）^[14]相结合的方法。QLoRA通过NF4四值量化技术降低模型计算复杂度，同时在推理过程中保持模型性能。在LoRA框架^[15]下，仅需训练少量轻量级适配器参数，即可实现模型的有效微调，大幅减少了训练资源消耗。

图2展示了LoRA的核心思想。左侧表示冻结的预训练权重矩阵\mathit{W}\in {\mathbf{R}}^{d\times d}，右侧为可训练的低秩适配器矩阵\mathit{A}\in {\mathbf{R}}^{r\times d}（随机高斯初始化）和\mathit{B}\in {\mathbf{R}}^{d\times r}（初始全为0）。初始\mathit{x}维度为d，分别与\mathit{W}\mathit{x}和\mathit{B}\mathit{A}\mathit{x}相加，最终输出\mathit{h}。该设计确保仅\mathit{A}和\mathit{B}参与梯度更新，预训练权重始终被保护。

针对漏洞分类任务，定义交叉损失熵函数驱动模型优化：

L=-\frac{\mathrm{1}}{N}{\displaystyle \sum _{i=\mathrm{1}}^N}[y_i\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{2}}(p_i)+(\mathrm{1}-y_i)\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{2}}(\mathrm{1}-p_i)]（6）

式中：y_i\in ｛\mathrm{0,1}｝为真实标签（0表示无漏洞，1表示有漏洞）；p_i为模型预测存在漏洞的概率，计算方式为

p_i=\frac{e^{z_i,\mathrm{Y}\mathrm{e}\mathrm{s}}}{e^{z_i,\mathrm{Y}\mathrm{e}\mathrm{s}}+e^{z_i,\mathrm{N}\mathrm{o}}}（7）

式中：（z_i,\mathrm{Y}\mathrm{e}\mathrm{s}）和（z_i,\mathrm{N}\mathrm{o}）分别标识模型输出“Yes”和“No”的对数几率。该损失函数通过最大化正确分类概率，引导模型在代码语义空间中学习区分漏洞与非漏洞样本的决策边界，从而提升漏洞检测的准确性和鲁棒性。

1.3 增强漏洞解释推理训练

为提升模型对漏洞成因的深层理解与解释能力，本文设计了一种基于思维链的漏洞解释推理训练机制。该机制通过系统化构建漏洞线索与多轮对话数据，引导模型学习从代码特征到漏洞成因的逻辑推理过程，从而生成具有准确性和逻辑连贯性的漏洞解释。

定义漏洞线索：Vul_clue = {vul_line, vul_context, vul_explanation},其中，vul_line、vul_context、vul_explanation分别是漏洞行、漏洞上下文和漏洞解释。漏洞上下文是与漏洞行相关的上下文，代码片段主要是数据依赖和控制依赖。

算法1展示了如何提取漏洞函数的漏洞线索。首先,分析补丁文件,通过差异分析来确定漏洞行。随后,使用静态分析工具Joern提取目标函数的PDG。在PDG中，从漏洞行节点出发，使用广度优先搜索算法（Breadth First Search, BFS）遍历k跳范围内的关联节点，确定与漏洞相关的数据依赖和控制依赖。最后，从CVE等漏洞数据库中检索专业的漏洞技术解释，形成完整的漏洞线索三元组。

算法1 漏洞线索提取算法

输入：漏洞函数vulner_fun、补丁Patch、跳数k

输出：漏洞线索Vul_clue

1.初始化：Vul_clue ← Ø

2.vul_lines ← 从patch中查找删除行

3.PDG ← Joern（vul_fun）

4.for vul_line in vul_lines do：

5. related_lines ← BFS（PDG, vulner_line, k）

6. vul_context.append（related_lines）

7.end for

8.vul_explanation ← 查找CVE漏洞信息

9.returen Vul_clue

图3展示了漏洞函数parse_metadata的漏洞线索提取过程。

在开源漏洞数据集上，基于前述算法提取结构化的漏洞线索。受思维链推理范式的启发，本文将漏洞代码及其对应的漏洞位置、上下文依赖关系与成因分析转化为多轮对话形式的训练样本，如图4所示。引导大语言模型逐步推理解析漏洞相关语义信息，从而提升其对漏洞模式的理解与解释能力。构建的对话数据以系统提示为起始，明确设定模型角色为具备代码安全领域专业知识的分析主体，随后通过一系列层次化提问，驱动模型依次识别漏洞代码片段、定位关键缺陷位置，并最终生成包含上下文依赖路径与根本成因的详细解释。

为充分利用上述生成的对话数据集，本文采用多任务自指导微调^[16]策略。训练阶段，模型生成的完整响应序列与真实标注的对话内容进行对齐，通过对比二者差异计算损失。针对多任务学习中常见的任务不平衡问题，设计一种改进的加权损失函数：

L(\theta )=\underset{\theta }{\mathrm{m}\mathrm{i}\mathrm{n}}\left(\frac{\mathrm{1}}{N}{\displaystyle \sum _{i=\mathrm{1}}^N}\frac{{\displaystyle \sum _{j=\mathrm{1}}^{M_i}}{\displaystyle \sum _{k=\mathrm{1}}^{T_{ij}}}(-\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{2}}(p_{\mathrm{0}}(T_{ijk})))}{{\displaystyle \sum _{j=\mathrm{1}}^{M_i}}{T}_{ij}}\right)（8）

式中：N表示任务总数；M_i表示第i个任务的样本数；T_{ij}是第i个任务的第j个样本的损失函数中设计的有效Token的计数；T_{ijk}是第i个任务的第j个样本的损失函数中设计的第k个有效Token。式（8）计算所有任务的平均损失。

2 实验分析

2.1 数据集

本文采用FFmpeg+Qemu和Big-Vul^[17]两个数据集进行实验，验证DEPVulDet方法的有效性。FFmpeg+Qemu数据集由FFmpeg与Qemu两个C语言开源项目构成，包含11 673个漏洞样本和13 942个非漏洞样本。Big-Vul数据集涵盖2002—2019年348个真实软件项目，包含11 834个漏洞样本和253 096个非漏洞样本。

2.2 评估指标

为全面评估DEPVulDet在漏洞检测任务中的性能，本文选择了以下4个常用的评价指标：准确率（R_{\mathrm{a}\mathrm{c}\mathrm{c}\mathrm{u}\mathrm{r}\mathrm{a}\mathrm{c}\mathrm{y}}）、精确率（R_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}}）、召回率（R_{\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{l}}）和F1分数（F1）。这些指标能够从不同角度衡量模型的分类能力。计算公式分别为

R_{\mathrm{a}\mathrm{c}\mathrm{c}\mathrm{u}\mathrm{r}\mathrm{a}\mathrm{c}\mathrm{y}}=\frac{N_{\mathrm{T}\mathrm{P}}+N_{\mathrm{T}\mathrm{N}}}{N_{\mathrm{T}\mathrm{P}}+N_{\mathrm{T}\mathrm{N}}+N_{\mathrm{F}\mathrm{P}}+N_{\mathrm{F}\mathrm{N}}}（9）

R_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}}=\frac{N_{\mathrm{T}\mathrm{P}}}{N_{\mathrm{T}\mathrm{P}}+N_{\mathrm{F}\mathrm{P}}}（10）

R_{\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{l}}=\frac{N_{\mathrm{T}\mathrm{P}}}{N_{\mathrm{T}\mathrm{P}}+N_{\mathrm{F}\mathrm{N}}}（11）

F\mathrm{1}=\frac{\mathrm{2}\times R_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}}\times R_{\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{l}}}{R_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}}+R_{\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{l}}}（12）

式中：N_{\mathrm{T}\mathrm{P}}为真实漏洞且被正确预测为漏洞的样本数；N_{\mathrm{T}\mathrm{N}}为真实非漏洞且被正确预测为非漏洞的样本数；N_{\mathrm{F}\mathrm{P}}为真实非漏洞但被错误预测为漏洞的样本数；N_{\mathrm{F}\mathrm{N}}为真实漏洞但被错误预测为非漏洞的样本数。

2.3 软件与硬件环境

本文实验环境配置如下：

1）硬件平台采用配备Intel（R） Xeon（R） Silver 4410Y处理器（24核心，2.80 GHz主频）、128 GB DDR5系统内存以及NVIDIA A6000 GPU（48 GB GDDR6显存）的高性能计算服务器。

2）软件环境方面，操作系统采用Ubuntu 22.04 LTS长期支持版本，深度学习框架选用PyTorch 2.1.0，配合CUDA 12.1并行计算平台以充分发挥GPU计算能力，模型构建与调用基于Transformers库4.42.0版本。

2.4 实验结果与分析

2.4.1 对比试验

为全面评估本文提出的DEPVulDet方法的性能优势，将其与当前主流的基于深度学习的漏洞检测方法和基于大语言模型的漏洞检测方法进行系统性对比。对比方法包括：Devign^[18]、SySeVR^[3]、AMPLE^[1]、Text CNN^[19]、GraphCodeBert、CodeBert、PDBERT^[20]、CodeT5^[21]以及CodeLLama-7B^[22]等代表性模型。实验结果如表2和表3所示。

实验结果表明，DEPVulDet在两个基准数据集的4项关键评估指标上总体取得最优性能，展现出显著综合优势。GNN方法（如AMPLE和Devign）整体优于Token序列方法（如SySeVR），但Text CNN（基于Token序列）表现优于Devign，这是因为其利用大规模预训练语言知识，而Devign需从零训练。编码模型（GraphCodeBert、CodeBert）显著优于解码模型（Codellama-7B），归因于前者双向注意力机制能全面捕获代码结构与语义信息；然而，编码模型可解释性较差，难以清晰解释漏洞根本原因。

本文提出的DEPVulDet方法融合了编码模型对代码结构的理解优势与解码模型对代码语义的表达能力。具体而言，DEPVulDet设计了专门的编码模块来捕获程序依赖语义信息，经过轻量级线性映射后输入至解码器完成漏洞检测任务。表2的实验结果进一步验证了该设计的有效性，表明DEPVulDet在各项评估指标上均取得了显著提升，实现了结构理解与语义表达的有机统一，为漏洞检测提供了新的技术思路。

2.4.2 消融实验

本文在FFmpeg+Qemu和Big-Vul两个数据集上对DEPVulDet漏洞检测系统进行了消融实验。通过分别移除编码器模块、解码器模块以及增强漏洞解释推理训练模块，系统评估各关键组件对整体漏洞检测性能的贡献程度。DEPVulDet_{no_encode}为移除编码器模块的变体，保留解码器和增强漏洞解释推理模块；DEPVulDet_encode移除解码器模块的变体，仅保留编码器，其输出直接通过MLP和Softmax函数进行分类决策；DEPVulDet_{no_exp}为移除增强漏洞解释推理训练模块的变体，保留完整的编码器—解码器架构。

消融实验结果如表4和表5所示。实验表明，不同模块对漏洞检测性能影响显著。移除编码器（DEPVulDet_{no_encode}）后，F1值在FFmpeg+Qemu和Big-Vul数据集上分别降低18.2和18.9个百分点，证明编码器对捕获代码语义特征至关重要。仅保留编码器（DEPVulDet_encode）时，F1值分别下降29.2和12.7个百分点，凸显解码器在上下文整合与长程依赖分析中的关键作用。移除增强漏洞解释推理模块（DEPVulDet_{no_exp}）对基础检测影响较小，准确率仅下降13.8和2.5个百分点，但该模块显著提升漏洞成因解释能力。综上所述，消融实验表明，编码器和解码器均为DEPVulDet的关键组件，但其相对重要性因数据集特性而异。在FFmpeg+Qemu数据集上，解码器对性能的贡献更突出（移除后F1值下降29.2个百分点）；而在Big-Vul数据集上，编码器的作用相对更关键（移除后F1值下降18.9个百分点）。这表明不同数据集的代码特性与漏洞模式可能影响模型组件的重要性。此外，增强漏洞解释推理模块虽对基础检测精度的提升有限，但能显著增强系统的可解释性，具有重要实用价值。

2.4.3 可解释性实验对比

为评估DEPVulDet的漏洞解释能力，本文选取表6所示的代表性漏洞案例，邀请5位具有3年以上漏洞分析经验的安全专家，对DEPVulDet与具有解释能力的深度学习方法及大语言模型进行系统性对比。评估主要从3个维度展开：漏洞定位准确性（漏洞行识别）、漏洞上下文相关性（相关代码片段识别）以及漏洞成因解释的合理性。专家对各方法的输出进行评分，分别计算各维度的准确率均值，作为最终评估指标。

本文通过专家评估实验，系统验证了DEPVulDet在漏洞可解释性方面的卓越性能。如表7所示，DEPVulDet在漏洞行识别、上下文相关性和漏洞原因的解释3个核心维度上均取得显著优势，准确率分别达到92.6%、91.4%和91.4%，显著优于Llama-13B、DeepSeek等对比方法。这一结果充分证实了DEPVulDet框架在融合程序依赖语义嵌入与解码器推理机制方面的有效性，不仅实现了高精度的漏洞检测，更通过基于思维链的多轮对话训练机制，显著提升了模型对漏洞位置、上下文依赖关系及漏洞原因的逻辑推理与解释能力。

3 结束语

提出了一种基于编码器与解码器协同工作的漏洞检测方法，其中编码器依托程序依赖信息捕获代码结构特征，重点提取数据流与程序依赖信息，并通过轻量级映射机制将编码结果投影至解码器语义空间，由解码器实现漏洞检测与解释任务。为进一步增强模型能力，使其不仅能够有效完成漏洞分类，还能准确识别漏洞所在行、关联上下文并生成合理解释，本文设计了增强型漏洞解释推理训练任务。总体而言，DEPVulDet弥补了基于GNN方法在代码语义理解方面的不足,以及大语言模型对程序结构信息不敏感的缺陷，为漏洞检测研究提供了融合结构感知与语义理解的新思路。

参考文献

[1] WEN X C， CHEN Y P， GAO C Y， et al. Vulnerability detection with graph simplification and enhanced graph representation learning［C］//Proceedings of 2023 IEEE/ACM 45th International Conference on Software Engineering. Piscataway，USA： IEEE， 2023：2275-2286.

[2] ZHANG G D， YAO T Y， QIN J W， et al. CodeSAGE： a multi-feature fusion vulnerability detection approach using code attribute graphs and attention mechanisms［J］. Journal of Information Security and Applications， 2025，89：No.103973.

[3] LI Z， ZOU D Q， XU S H， et al. SySeVR： a framework for using deep learning to detect software vulnerabilities［J］. IEEE Transactions on Dependable and Secure Computing， 2022，19（4）：2244-2258.

[4] 杜江，魏强，王奕森，等.DeepClap：一种基于残差对齐网络的漏洞跨模态搜索方法［J］.信息工程大学学报，2025，26（4）：478-484.

[5] LEKSSAYS A， MOUHCINE H， TRAN K， et al. LLMxCPG：context-aware vulnerability detection through code property graph-guided Large Language Models［DB/OL］. （2025-07-22）［2025-12-08］.

[6] QUAN V L A， PHAT C T， VAN NGUYEN K，et al. XGV-BERT： leveraging contextualized language model and graph neural network for efficient software vulnerability detection［J］. The Journal of Supercomputing， 2025，81（6）：No.750.

[7] WEN X C， GAO C Y， GAO S Z， et al. SCALE： constructing structured natural language comment trees for software vulnerability detection［C］//Proceedings of the 33rd ACM SIGSOFT International Symposium on Software Testing and Analysis. New York， USA： ACM， 2024：235-247.

[8] LU G L， JU X L， CHEN X， et al. GRACE： empowering LLM-based software vulnerability detection with graph structure and in-context learning［J］. Journal of Systems and Software， 2024，212：No.112031.

[9] JIANG Z H， SUN W F， GU X Y， et al. DFEPT： data flow embedding for enhancing pre-trained model based vulnerability detection［DB/OL］. （2024-10-24）［2025-06-07］.

[10] CAI Z L， CAI Y W， CHEN X， et al. CSVD-TF： cross-project software vulnerability detection with TrAdaBoost by fusing expert metrics and semantic metrics［J］. Journal of Systems and Software， 2024，213：No.112038.

[11] VASILAKIS N， BENETOPOULOS A， HANDA S， et al. Supply-chain vulnerability elimination via active learning and regeneration［C］//Proceedings of the 2021 ACM SIGSAC Conference on Computer and Communications Security. New York， USA： ACM， 2021：1755-1770.

[12] DEVLIN J， CHANG M W， LEE K， et al. Bert： pre-training of deep bidirectional transformers for language understanding［DB/OL］.（2018-10-11 2025-07-07］.

[13] GUO D Y， REN S， LU S， et al. GraphCodeBERT： pre-training code representations with data flow［DB/OL］. （2020-09-17）［2025-12-10］.

[14] DETTMERS T， PAGNONI A， HOLTZMAN A， et al. QLoRA： efficient finetuning of quantized LLMs［C］//Proceedings of Advances in Neural Information Processing Systems. New York， USA：Curran Associates， Inc.，2026，36：10088--10115.

[15] HU E J， SHEN Y L， WALLIS P， et al. LoRA： low-rank adaptation of large language models［DB/OL］. （2021-06-17）［2025-07-07］.

[16] LIU B C， CHEN C Y， GONG Z， et al. MFTCoder： boosting code LLMs with multitask fine-tuning ［DB/OL］.（2024-08-24）［2025-12-08］.

[17] FAN J H， LI Y， WANG S H，et al. A C/C++ code vulnerability dataset with code changes and CVE summaries ［C］//Proceedings of the 17th International Conference on Mining Software Repositories. New York， USA：ACM，2020. DOI：10.1145/3379597.3387501 .

[18] ZHOU Y Q， LIU S Q， SIOW J K， et al. Devign： effective vulnerability identification by learning comprehensive program semantics via graph neural networks ［C］//Proceedings of the 33rd International Conference on Neural Information Processing Systems. Red Hook， USA： Curran Associates Inc.， 2019：No.915.

[19] KIM Y. Convolutional neural networks for sentence classification ［C］//Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， USA： ACL， 2014. DOI：10.3115/v1/D14-1181 .

[20] LIU Z X， TANG Z J， ZHANG J W， et al. Pre-training by predicting program dependencies for vulnerability analysis tasks［C］//Proceedings of the IEEE/ACM 46th International Conference on Software Engineering. New York，USA： ACM， 2024：1863-1875.

[21] WANG Y， WANG W S， JOTY S， et al. CodeT5： identifier-aware unified pre-trained encoder-decoder models for code understanding and generation［C］//Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， USA： ACL， 2021：8696-8708.

[22] ROZIÈRE B， GEHRING J， GLOECKLE F， et al. Code Llama： open foundation models for code［DB/OL］.（2023-08-24）［2025-12-08］.