融合多层次语义和依存句法信息的网络安全事件检测方法

Cybersecurity event detection method fusing multi-level semantic and dependent syntax information

摘要

针对现有网络安全事件检测方法缺乏对多层次语义信息和依存句法信息的有效利用，且依赖触发词进行事件检测，从而影响检测性能的问题，提出了一种融合多层次语义和依存句法信息的网络安全事件检测方法。首先，在SecureBERT预训练模型的基础上引入双向长短期记忆网络（入BiLSTM）模型，获取网络安全文本的专业领域语义信息和上下文信息，通过事件描述感知注意力机制捕获待检测句子与事件描述之间的关系，关注句子中与事件更相关的部分并获得多层次语义特征向量。然后，在图卷积网络中引入位置感知函数，深入分析依存句法关系，获得依存句法特征向量。最后，通过门控机制融合特征并输入网络安全事件检测器进行二分类，检测识别文本中的网络安全事件。实验结果表明，与现有方法相比，本文方法在CASIE和CySecED数据集上的F₁分数分别提升2.0%~7.9%和2.8%~26.6%，具有良好的检测效果。

Abstract

Aiming at the problem that existing cybersecurity event detection methods lack effective utilization of multi-level semantic information and dependent syntactic information， and rely on triggers for event detection， thus affecting the detection performance， this paper proposes a cybersecurity event detection method fusing multi-level semantic and dependent syntax information. First， incorporating a BiLSTM model with the SecureBERT pre-training model to capture domain-specific semantic information and contextual information in cybersecurity text. Through an event description-aware attention mechanism， the relationship between the sentence to be detected and the event description is captured， focusing on the parts of the sentence more relevant to the event and obtaining multi-level semantic feature vectors. Then， the position-aware function is introduced into the graph convolutional network， and the dependency syntactic relationship is deeply analyzed， and the dependency syntactic feature vector is obtained. Finally， the features are fused through the gating mechanism and the fused feature is input into the cybersecurity event detector for binary classification， detecting and recognizing cybersecurity events in the text. The experimental results show that compared with the existing methods， the F1 scores of this paper’s method on CASIE and CySecED datasets are improved by 2.0%~7.9% and 2.8%~26.6% respectively， with good detection results.

Graphical abstract

关键词

网络安全 / 事件检测 / 多层次语义 / 依存句法

Key words

cyber security / event detection / multi-level semantic / dependent syntax

0 引 言

互联网环境日益复杂，网络攻击和网络犯罪事件数量日益增加，给国家安全、社会利益和个人隐私造成巨大的安全威胁。通过获取多源数据检测未知攻击已成为威胁检测领域的热点研究方向^［1］，其中包括对网络威胁情报（Cyber threat intelligence， CTI）的分析和使用。近年来，许多研究围绕网络威胁情报分析进行展开，包括网络威胁情报技战术分析^［2］、网络威胁情报实体识别^［3-5］、关系抽取^［6，7］、知识图谱构建^［8，9］、网络安全事件抽取^［10］等。互联网中存在大量关于网络威胁的文本信息，本文研究网络安全领域的事件检测任务，为网络威胁情报中的非结构化文本分析提供方法支撑。

事件检测（Event detection，ED）是自然语言处理（Natural language processing， NLP）领域中信息抽取任务的关键组成部分，主要任务是从文本中识别预定义的事件类型^［11］。网络安全事件检测旨在判断给定的文本中是否存在预定义的网络安全事件类型，使安全分析人员能够及时地了解网络威胁的发生，从而提高安全分析的效率。事件检测任务中，通过标记名为事件触发词的单词或短语表示特定事件的发生，事件触发词通常为动词或者动名词^［12］。传统的事件检测方法依赖于识别触发词并将其正确分类为预定义的事件类型，以识别文本中的事件类型^［13-15］。因此，事件检测的效果在很大程度上受到触发词标注质量的影响，而触发词标注过程通常耗费大量人力物力，基于触发词的事件检测方法难以适用于需要大量专家标注工作的网络安全领域。

低质量的触发词标注影响事件检测的效果，从而影响网络安全事件检测性能。Satyapanich等^［10］提出CyberLSTM方法，通过词性、依存关系和命名实体识别等信息对事件触发词进行分类实现事件检测，实验结果表明触发词的标注范围是否完整影响事件触发词识别和检测的准确率，从而影响事件检测的效果。Liu等^［16］首次提出无触发词的事件检测方法，该方法在网络安全事件检测数据集上表现不佳，网络安全领域与通用领域的文本在专业词汇、句法结构等方面存在显著差异。此外，现有网络安全事件检测方法在多层次语义特征的挖掘方面存在不足，未能有效利用网络安全专业领域的语义信息和上下文信息，并且缺乏对依存句法信息的分析与利用。针对上述不足，为有效利用网络安全文本的语义级别和句法级别的特征表示，实现对网络安全事件的高效检测，本文提出一种融合多层次语义和依存句法信息的网络安全事件检测方法（Cybersecurity event detection method fusing multi-level semantic and dependent syntax information， CEDMD）。本文研究的主要贡献如下：

（1）提出了一种无触发词网络安全事件检测方法，把网络安全事件检测任务转化为二分类任务，将待检测句子和事件描述进行拼接形成实例作为模型的输入，并通过事件描述感知注意力机制有效捕获事件描述和待检测句子的依赖关系，关注句子中与事件更相关的部分以模拟事件触发词，从而减少触发词标注质量的影响。

（2）提出了一种多层次语义特征提取网络，该网络通过SecureBERT预训练模型对句子内容进行编码，有效获取网络安全专业领域的语义信息，在此基础上利用双向长短期记忆（Bidirection long and short-term memory，BiLSTM）网络进一步提取文本的上下文信息，并通过事件描述感知注意力机制对事件描述的向量表示和经过BiLSTM获取的语义特征表示进行计算，从而获取多层次语义特征表示，增强对网络安全文本复杂语义信息的分析能力。

（3）提出了一种依存句法图卷积网络，该网络首先使用句法分析工具获取句法结构信息，通过图卷积网络（Graph convolutional network，GCN）计算句子的依存句法结构，并在图卷积计算过程中引入位置感知函数，加强对复杂句法的分析能力。依存句法特征作为多层次语义特征的补充，进一步提高网络安全事件检测的效果。

（4）在事件检测部分，通过门控机制动态融合多层次语义特征和依存句法特征，对句子进行建模并分类，并引入Focal Loss损失函数，减少负例样本的权重，平衡样本损失从而提升模型性能。

1 相关工作

1.1　无触发词事件检测

传统的句子级事件检测方法涉及两个子任务：触发词识别和触发词分类，通过识别触发词并分类实现对句子中所含事件的检测和分类。基于触发词的事件检测方法中，触发词的标注质量很大程度上影响着事件检测的准确性，尤其在网络安全领域中，准确地标注触发词费时费力。

尽管现有方法主要依赖触发词进行事件检测，但触发词的识别对于事件检测任务并非必要，因为事件检测的目标是识别和分类事件，触发词的识别可视为这一任务的中间结果。如图1所示，与基于触发词的事件检测方法不同，无触发词的事件检测方法通常将句子视为一个整体进行建模，获取句子的整体表示后，再对事件类型进行分类。

Liu等^［16］通过模拟隐藏的事件触发词进行事件检测，提出一种基于注意力机制的类型感知偏置神经网络对句子进行建模并分类。然而，这种方法使用的Skip-gram嵌入方法只考虑局部上下文信息，未考虑网络安全专业领域语义信息，导致该方法应用于网络安全事件检测数据集时效果不佳。程永等^［17］基于这一方法提出一种双重注意力无触发词中文事件检测方法，改进了嵌入编码部分，但该方法未考虑句法结构信息。

1.2　网络安全事件检测

目前，大量事件检测研究主要面向通用领域，涉及人类日常生活中的各类事件（如出生、去世和结婚）。然而，在特定专业领域，如网络安全领域，有关事件检测的研究相对较少。同样的词汇在人类日常行为和网络攻击活动中代表着不同的含义。例如，在网络安全领域，“病毒攻击杀死了系统进程，迫使系统重启。”这句话中，“杀死”是病毒攻击事件的触发词，而在通用领域，“杀死”通常是死亡事件的触发词。并且网络安全术语在日常用语中并不常见，例如API、OAuth（Open Authorization）、渗透（exfiltrate），或具有多重含义，蜜罐（honeypot）、补丁（patch）、握手（handshake）、运行（run）。因此，通用领域的事件检测方法不能很好地迁移到网络安全领域。

Satyapanich等^［10］提出一个名为网络攻击感知与信息提取（CyberAttack sensing and information extraction，CASIE）的系统提取网络安全事件，他们还标记了一个数据集，其中包括5种预定义的事件类型。CASIE中的CyberLSTM方法利用带有注意力层的BiLSTM网络提取触发词信息进行事件检测，但触发词标记质量不佳的情况下将导致事件检测效果下降，并且没有考虑依存句法信息。Trong等^［18］为网络安全事件检测引入一个新的数据集，包含30种重要的网络安全事件类型。他们在该数据集上对多个事件检测方法进行评估，结果表明利用更加丰富的特征，如专业领域语义信息、文档级信息以及依存句法信息等，可以有效提高事件检测效果。Yagcioglu等^［19］提出一个通过卷积神经网络和BiLSTM的模型对噪声短文进行分类的方法，从而检测Twitter上的网络安全事件，该方法的文本特征提取方式未考虑依存句法信息导致检测性能不佳。Wang等^［20］提出多阶边感知图卷积网络提取高阶依存句法关系，但是仅使用BERT模型的文本编码方式未能有效获取网络安全专业领域的语义信息。Liu^［21］对预训练模型在网络安全领域中的研究工作进行综述，表明网络安全专业领域预训练模型的出现，可以有效提高文本分析等下游任务模型的语义分析能力。Wang等^［22］通过拼接事件描述信息并对句子建模实现无触发词网络安全事件检测，但是该方法仅通过图卷积网络生成句子的整体表示，未能有效融合网络安全专业领域语义信息和上下文信息，从而影响事件检测效果。Tang等^［23］提出一种基于对比学习的网络安全事件检测方法，通过测量候选实例与已有实例之间的语义相似性实现无触发词网络安全事件检测。汤萌萌等^［24］通过提示问答并结合标签词对数据进行增强实现小样本事件检测，提示问题的设计质量对模型性能有显著影响。

综上所述，大多数方法基于触发词进行事件检测，并不适用于网络安全事件检测这种专业领域场景。此外，目前已有的网络安全事件检测方法缺乏对专业领域语义信息、上下文信息和事件描述信息等多层次语义信息的挖掘，并且无法有效利用依存句法信息，导致在面对复杂的网络安全事件时检测效果不佳。

2 检测方法架构

网络安全文本包含大量专业术语，与人类日常生活用语存在明显区别，并且存在大量的逻辑关系导致句子结构复杂。为有效提取文本中网络安全专业领域相关的多层次语义特征和句法结构特征，获得句子的向量表示从而实现无触发词事件检测，提高网络安全领域的事件检测效果，本文在现有事件检测方法研究的基础上提出一种融合多层次语义和依存句法信息的网络安全事件检测方法。该方法主要由多层次语义特征提取网络、依存句法图卷积网络和网络安全事件检测三个部分构成，其总体架构图如图2所示。

各部分的主要功能设计如下：

（1）多层次语义特征提取网络。通过拼接待检测句子和事件类型描述构建待检测实例。针对包含网络安全专业词汇和短语的实例，利用SecureBERT预训练模型提取网络安全专业领域语义信息，获得词嵌入向量并将其输入BiLSTM提取上下文信息。为融合事件描述信息模拟事件触发词，通过事件描述感知注意力机制关注句子中与事件更相关的部分，获得多层次语义特征向量。

（2）依存句法图卷积网络。首先利用StanfordCo-reNLP工具^［25］提取句法结构信息，用句法结构树进行表示，并将句法结构树转化为句法结构图，用邻接矩阵进行表示，经过依存句法图卷积网络计算后，获得句法结构特征向量。

（3）网络安全事件检测。融合两组特征向量作为句子的整体向量表示，利用全连接神经网络和Sigmoid激活函数生成检测概率，对每个待检测句子进行分类，从而判断其是否包含预定义类型的网络安全事件。

2.1　问题定义

将网络安全事件检测问题定义为二分类问题，网络安全事件检测就是判断句子中是否包含预定义类型的网络安全事件。对于一篇文章D，用句子序列S=｛S₁，S₂，…，S_k ｝表示，正例样本和负例样本包含在集合S中。正例样本即包含预定义类型网络安全事件的句子，标记为1，负例样本即不包含预定义类型网络安全事件的句子，标记为0。网络安全事件检测任务的目标是，学习一个映射函数\mathrm{ℱ}:S_i\in S\to Y，将每个句子映射到标签集合Y=｛0， 1｝，0代表句子不包含预定义类型的网络安全事件，1代表句子包含预定义类型的网络安全事件。

2.2　输入构建

本文研究无触发词网络安全事件检测任务，将数据集中的触发词标记去除后，为将事件类型描述集成到待检测句子中，把事件类型描述和待检测句子进行拼接，其中事件类型描述在数据集中已给出。将给定的句子s拼接每个预定义的事件类型描述d形成一个实例，根据s是否包含类型d的事件，该实例被标记为0或1。例如，数据集中共有5种预定义的事件类型（用d₁、d₂、d₃、d₄和d₅表示），并且句子s包含d₂和d₄类型的两个事件，则句子s产生表1中的5个实例，将拼接后的实例作为后续的模型输入。

2.3　多层次语义特征提取

为提取实例的网络安全专业领域语义信息和上下文信息，并模拟事件触发词，本文提出一种多层次语义特征提取网络，网络框架如图3所示。为提取实例的网络安全专业领域语义特征，使用Aghaei等^［26］在2022年提出的SecureBERT模型对实例进行编码。SecureBERT是在RoBERTa基础上改进，并基于大规模英文网络威胁情报数据进行预训练的模型，适合进行网络安全专业领域的信息处理。Aghaei等^［26］指出，现有的预训练模型缺乏对网络安全知识的参考，而SecureBERT模型能够捕获网络安全文本（例如CTI）中的专业领域语义，因此在许多关键的网络安全任务（如网络威胁情报实体识别、CVE攻击技术预测^［27］和CAN攻击检测^［28］）方面表现出色。

经过输入构建后获取待检测实例，将每个实例经过SecureBERT编码的最后一层隐藏层状态作为实例的词嵌入向量。网络安全文本含有丰富的上下文信息，并且通常包含未知的单词。为使网络更好地捕捉上下文信息，将经过SecureBERT编码得到的词嵌入向量输入BiLSTM，经过BiLSTM前后向传播计算之后得到加入上下文依赖之后句子的深层语义表示。并提出一种事件描述感知注意力机制对此语义特征表示和事件描述的词嵌入向量进行计算，模拟事件触发词从而实现无触发词事件检测。具体方法设计如下：

（1）对于一个实例C，将其建模为单词序列，即C=｛c₁，…，c_n，…，c_n+m ｝，其中c_i 为实例的第i个单词，n表示待检测句子中的单词数量，m表示事件描述中的单词数量，n+m表示实例中的单词数量。

（2）利用SecureBERT预训练模型对实例C进行编码，每个实例经过SecureBERT编码后，提取其最后一层隐藏状态作为词嵌入向量，从而将实例中的每个单词转换为相应的向量表示，计算公式为：

T=\left\{{\mathit{t}}_{\mathrm{1}},\cdots ,{\mathit{t}}_{n+m}\right\}=\mathrm{S}\mathrm{e}\mathrm{c}\mathrm{u}\mathrm{r}\mathrm{e}\mathrm{B}\mathrm{E}\mathrm{R}\mathrm{T}\left(C\right)（1）

式中： t{}_i^{}∈ℝ ^dT 表示表示第i个单词的词嵌入向量，其中dT是词嵌入向量的维度。

（3）由于BiLSTM可以捕捉上下文序列信息，因此利用BiLSTM对经过SecureBERT预训练模型获取的词嵌入向量进行进一步处理，以提取上下文信息。在BiLSTM中，每个时间步产生一个前向隐藏状态和一个后向隐藏状态，它们分别对应网络在该时间步向前和向后的信息。BiLSTM的计算过程如下：

h_i=[\overrightarrow{\mathrm{L}\mathrm{S}\mathrm{T}\mathrm{M}}({\mathit{t}}_i),\stackrel{⃖}{\mathrm{L}\mathrm{S}\mathrm{T}\mathrm{M}}({\mathit{t}}_i)],\forall i\in [\mathrm{1},\cdots ,n]（2）

H_B=[h_{\mathrm{1}}^{},h_{\mathrm{2}}^{},\cdot \cdot \cdot ,h_n^{}]（3）

式中：{\mathit{t}}_i是由SecureBERT预训练模型获取的词嵌入向量，\overrightarrow{\mathrm{L}\mathrm{S}\mathrm{T}\mathrm{M}}({\mathit{t}}_i)和\stackrel{⃖}{\mathrm{L}\mathrm{S}\mathrm{T}\mathrm{M}}({\mathit{t}}_i)分别代表前向和后向两个方向的隐藏状态，将\overrightarrow{\mathrm{L}\mathrm{S}\mathrm{T}\mathrm{M}}({\mathit{t}}_i)和\stackrel{⃖}{\mathrm{L}\mathrm{S}\mathrm{T}\mathrm{M}}({\mathit{t}}_i)拼接得到h_i。每个时间步的输出均包含从序列开始到当前位置的前向信息和从当前位置到序列结束的后向信息。将h_i 进行组合获得包含上下文信息的语义特征向量表示 H_B。

（4）为通过事件描述模拟已经隐藏的触发词，设计一种事件描述感知注意力机制，从而更好地捕获待检测句子和事件描述之间的复杂关联，使模型更加关注与事件相关的部分。

利用事件描述感知注意力机制，计算BiLSTM输出的向量 H_B 和事件描述的向量表示 T_d 的相关性，以获得多层次语义特征向量 f_att。其中， T_d 是由SecureBERT预训练模型获得的事件描述的向量表示。计算过程如下：

对于多头注意力机制，每个输入经过线性变换生成查询向量 Q 、键向量 K 和值向量 V。对于事件描述的向量表示 T_d，将其映射到查询向量 Q，对于待检测句子的语义特征向量 H_B，将其映射到键向量 K 和值向量 V，计算公式为：

\mathit{Q}={\mathit{W}}^{\mathit{Q}}{\mathit{T}}_{\mathit{d}},\mathit{K}={\mathit{W}}^{\mathit{K}}{\mathit{H}}_{\mathit{B}},\mathit{V}={\mathit{W}}^{\mathit{V}}{\mathit{H}}_{\mathit{B}}（4）

式中： W^Q 、 W^K 、 W^V 表示投影矩阵。接下来，计算查询向量 Q 和键向量 K 的点积，然后进行归一化得到注意力分数，根据注意力分数更新语义特征向量，计算过程如下：

\mathrm{s}\mathrm{c}\mathrm{o}\mathrm{r}\mathrm{e}=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(\frac{\mathit{Q}{\mathit{K}}^{\mathrm{T}}}{\sqrt[]{d_k}}\right)（5）

\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_i=\mathrm{s}\mathrm{c}\mathrm{o}\mathrm{r}\mathrm{e}\mathrm{*}\mathit{V}（6）

式中：d_k 表示键向量维度；*表示向量点乘操作。

拼接多头注意力块的输出，利用线性层和最大池化操作生成融合事件描述信息的多层次语义特征\mathit{f}_att，计算公式为：

{\mathit{F}}_{\mathrm{a}\mathrm{t}\mathrm{t}}=[\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_{\mathrm{1}};\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_{\mathrm{2}};\cdots ;\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_h]{\mathit{W}}^{\mathit{O}}（7）

{\mathit{f}}_{\mathbf{a}\mathbf{t}\mathbf{t}}=\mathrm{M}\mathrm{a}\mathrm{x}\mathrm{p}\mathrm{o}\mathrm{o}\mathrm{l}\mathrm{i}\mathrm{n}\mathrm{g}({\mathit{F}}_{\mathrm{a}\mathrm{t}\mathrm{t}})（8）

式中：［；］表示向量拼接操作； W^O 表示权重矩阵。通过事件描述感知注意力机制，有效挖掘句子中的关键部分，从而实现无触发词事件检测。

2.4　依存句法图卷积网络

网络安全文本通常具有复杂的逻辑结构，依存句法可以反映文本的结构信息。现有网络安全事件检测方法未能有效的利用文本的依存句法结构信息。为解决这一问题，本文提出一种依存句法图卷积网络，在图卷积计算中引入位置变换函数，以提取和计算依存句法结构特征表示，从而更好地处理复杂的依存句法结构。

2.4.1　句法结构分析

StanfordCoreNLP是由斯坦福大学开发的一套全面且功能丰富的自然语言处理工具包^［25］。它提供了多种语言的文本分析功能，包括但不限于词性标注、命名实体识别和依存句法分析等。

依存句法结构信息的引入可以提供更多的补充信息，帮助模型理解词语之间的依赖关系。句法分析具体处理步骤设计如下：

（1）依存句法结构分析。利用句法分析工具StanfordCoreNLP识别待检测句子中单词之间的依存句法关系。

（2）句法结构树生成。依据1）中获得的依存句法关系，构建相应的句法结构树。通常情况下，句法结构中的动词或动词短语作为中心词（Root），句子中的其他词通过依存路径与中心词相连接。如图4所示，图中的弧线表示词与词之间的依存关系，例如依存关系“nsubjpass”表示“Vulnerability”依存于“Discovered”，“Vulnerability”是被动语态的名词主语。

（3）邻接矩阵转化。依据（2）中得到的句法结构树，将每个单词表示为节点，单词之间的每个依存关系表示为边，从而将每一个待检测句子的句法结构树转化为一个无向图，该无向图表示为：

G=[V,E]（9）

式中：V表示句法依存树中顶点的集合，E表示依存关系的边的集合。将该无向图用二进制邻接矩阵 A ∈ℝ ^n×n 进行表示，邻接矩阵 A 表示为：

A_{ij}=\left\{\begin{array}{c}\mathrm{1},\hspace{1em}\exists e_{(i,j)}\in E\\ \mathrm{0},\hspace{1em}\forall e_{(i,j)}\notin E\end{array}\right.（10）

式中：A_ij 是表示无向图的二进制邻接矩阵 A 的元素，代表节点i和节点j之间的连接关系；e_（i，j） 表示在无向图中从节点i到节点j的边。并为节点添加自环，将矩阵 A 的对角线上的值设为1。

2.4.2　句法结构特征计算

为捕捉和理解依存句法关系，对表示依存句法关系的邻接矩阵进行计算。首先，使用2.3节中经过BiLSTM计算获得的隐藏状态向量 H_B =（h₁，…，h_n ）初始化图中每个节点v的特征向量。其次，对表示依存句法关系的无向图使用图卷积网络进行特征提取，计算公式为：

{\mathit{h}}_i^l=\sigma \left({\displaystyle \sum _{j=\mathrm{1}}^n}{A}_{ij}{\mathit{W}}^l{\mathit{g}}_j^{l-\mathrm{1}}+{\mathit{b}}^l\right)（11）

式中： h{}_i^l表示在GCN中第l层的第i个节点的隐藏状态表示； W^l 为线性变换权重矩阵； b^l 为偏置项；σ为激活函数，每一层GCN的激活函数为ReLU。

为增强依存句法图卷积网络对位置信息的感知能力，在图卷积网络计算的过程中加入位置权重分布函数，进一步提高复杂句法结构特征计算的准确性。在进入下一个GCN层计算之前，对节点进行位置感知转换，计算公式为：

{\mathit{g}}_i^l=\mathrm{ℱ}({\mathit{h}}_i^l)（12）

式中：\mathrm{ℱ}(\cdot )为位置感知函数。位置感知函数的计算过程如下：

q_i=\left\{\begin{array}{c}\mathrm{1}-\frac{\tau +\mathrm{1}-i}{n},\mathrm{1}\le i\le \tau +\mathrm{1}\\ \mathrm{0},\tau +\mathrm{1}\le i\le \tau +m\\ \mathrm{1}-\frac{i-\tau -m}{n},\tau +m\le i\le n\end{array}\right.（13）

\mathrm{ℱ}({\mathit{h}}_i^l)=q_i{\mathit{h}}_i^l（14）

式中：q_i 表示第i个词汇对应的位置。在位置权重函数\mathrm{ℱ}(\cdot )中，目标词汇的位置τ用于确定其他词汇的相对位置，并据此分配权重。靠近目标词汇的词汇会被赋予更高的权重，因为它们对于理解目标词汇的语义更为重要。

通过式（10）计算获取句子的依存句法结构的图特征表示信息H_G =［H{}_{\mathrm{1}}^l， H{}_{\mathrm{2}}^l， …H{}_n^l］，H{}_i^l是节点的最终状态。最后，通过全局平均池化获得依存句法信息的特征表示，计算过程为：

{\mathit{f}}_{\mathrm{g}}=\frac{\mathrm{1}}{|V|}\sum _{v_i\in V}{H}_i^l（15）

式中：{\mathit{f}}_{\mathrm{g}}表示依存句法特征向量。

2.5　网络安全事件检测

为融合多层次语义信息与依存句法信息，在网络安全事件检测部分，将2.3节中获取的多层次语义特征向量 f_att和2.4节获取的依存句法特征向量 f_g进行融合，作为网络安全事件检测器的输入，记为 f_fusion。由网络安全事件检测器处理融合特征 f_fusion，将每一条待检测实例分类为包含预定义类型的网络安全事件或者不包含预定义类型的网络安全事件，网络安全事件检测器由一个全连接神经网络层和Sigmoid激活函数构成。具体检测方法设计如下：

（1）进行特征融合操作，为了有效融合多层次语义特征和依存句法特征，防止特征信息的丢失，将语义特征 f_att和句法特征 f_g通过门控模块融合为一个特征向量，其结果 f_fusion作为待检测句子的整体向量表示，输入网络安全事件检测器，如下式所示：

G=\sigma ({\mathit{W}}_{\mathrm{g}}\cdot [{\mathit{f}}_{\mathrm{a}\mathrm{t}\mathrm{t}},{\mathit{f}}_{\mathrm{g}}]+{\mathit{b}}_{\mathrm{g}})（16）

{\mathit{f}}_{\mathbf{f}\mathbf{u}\mathbf{s}\mathbf{i}\mathbf{o}\mathbf{n}}=G\cdot {\mathit{f}}_{\mathrm{a}\mathrm{t}\mathrm{t}}+(\mathrm{1}-G)\cdot {\mathit{f}}_{\mathrm{g}}（17）

式中： W_g表示可学习的权重矩阵； b_g表示可学习的偏置项；σ是用于生成门控值G的Sigmoid函数。门控机制通过Sigmoid函数生成一个介于0和1之间的门控值G，G动态调整两种信息的权重。这使得模型能够根据输入句子的特点，自适应地决定更多地依赖语义信息还是句法信息。

（2）利用全连接神经网络层将捕获的分布式特征表示映射到类别标记空间Y=｛0，1｝。

（3）由Sigmoid激活函数计算实例类别的检测概率，计算公式为：

{\widehat{y}}_i=\sigma (w{f}_i+b)（18）

式中：σ（\cdot）表示Sigmoid激活函数；f_i 表示待检测句子i的多层次语义特征和依存句法特征的融合特征表示；ŷ_i 表示实例i分类结果的检测概率；w和b表示权重和偏差。最终，输出一个二元值（1或0），表示待检测句子是否包含预定义类型的网络安全事件。

2.6　模型训练与优化（损失函数）

将待检测句子拼接每一种事件类型的事件描述这一过程会产生较大比例的负例样本，从而导致数据不平衡问题，影响模型训练效果。为解决这一问题，引入Focal Loss函数以提高正例样本的权重，从而优化模型。Focal Loss定义为：

\mathrm{l}\mathrm{o}\mathrm{s}\mathrm{s}\left(\widehat{y}\right)=-\alpha {(\mathrm{1}-\widehat{y})}^{\gamma }\mathrm{l}\mathrm{o}\mathrm{g}\left(\widehat{y}\right)（19）

式中：\alpha \in [\mathrm{0,1}]为平衡因子，平衡正例和负例样本的重要性；\gamma \ge \mathrm{0}为调焦因子，降低模型对易分类样本的损失权重，而对难分类样本的损失权重进行放大，使得模型在训练过程中更加关注难以分类的样本。

3 实验与结果分析

3.1　实验数据集

本文采用Satyapanich等^［10］提出的CASIE数据集和Nguyen等^［16］提出的网络安全事件检测数据集CySecED^［18］进行实验，这两个数据集的文本均来源于发布真实网络安全事件的新闻网站。CASIE是第一个用于网络安全事件抽取和检测的公开数据集，定义了两种主要事件类型（攻击和漏洞）以及五种事件子类型（数据外联、钓鱼、勒索和漏洞发现、漏洞修补）。CySecED是一个大型网络安全事件检测数据集，分为四大事件类型（发现、补丁、攻击和影响）以及30个事件子类型。将给定的句子与每个预定义的事件类型描述进行拼接后，CASIE中的一个句子对应生成5个实例，CySecED中的一个句子对应生成30个实例。

原数据集的标注中一个句子包含多个代表同一事件的触发词，触发词的数量即正例的数量。由于本文将待检测句子与事件描述进行拼接获得实例，去除了数据集中的触发词标注，所以一个句子包含拼接的事件描述对应的事件类型即为一个正例样本，反之则为负例样本。经过预处理后，实验数据集的统计数据如表2所示。实验以8∶1∶1的比例随机分割数据集作为训练集、验证集和测试集。

3.2　实验环境和参数设置

实验环境为：Intel（R） Xeon（R） Gold 6430 CPU，NVIDIA GeForce RTX 4090 GPU，Windows 10 操作系统。实验代码使用Python 3.8和PyTorch 1.12实现，并使用CUDA 11.6和cuDNN 8.4加速运算。实验参数设置如表3所示。

3.3　评价指标

针对网络安全事件检测的二分类任务，使用精确率（Precision）、召回率（Recall）、F₁分数（F₁-score）作为网络安全事件检测任务的评估指标。上述评价指标的计算方法为：

\mathrm{P}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}}（18）

\mathrm{R}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{l}=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{N}}（19）

F₁-\mathrm{s}\mathrm{c}\mathrm{o}\mathrm{r}\mathrm{e}=\frac{\mathrm{2}\mathrm{P}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}\mathrm{*}\mathrm{R}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{l}}{\mathrm{P}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}+\mathrm{R}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{l}}（20）

式中：TP（True positive）表示检测为正例样本且实际是正例样本的样本数量，TN（True negative）表示检测为负例样本且实际是负例样本的样本数量，FP（False positive）表示检测为正例样本但实际是负例样本的样本数量，FN（False negative）表示检测为负例样本但实际是正例样本的样本数量。

3.4　参数优化实验

本文提出的CEDMD方法包含多层次语义特征提取模块、依存句法图卷积模块和融合检测模块，多层次语义特征提取模块中事件描述感知注意力机制的注意力头数，以及依存句法图卷积模块中GCN层数的设置影响网络安全事件检测性能，所以分别对其进行参数调优实验，使CEDMD获得最优的检测效果。

3.4.1　注意力头数选择

注意力头数是多层次语义特征提取模块中的一个重要参数，影响模型对事件描述信息的理解程度和融合效果。为评估其对网络安全事件检测性能的影响，本文将多层次语义特征提取模块的注意力头数分别设置为1、2、4和8，在CASIE和CySecED数据集上进行实验。不同注意力头数的实验结果如图5所示。

分析图5可知，当注意力头数为4时，在两个数据集上的F₁分数最高，CEDMD达到最佳的检测效果。注意力头数过少，会导致模型对事件描述信息理解程度不深，无法有效感知事件描述信息；注意力头数过多，会使计算参数爆炸式增长并增加计算和显存开销，导致训练不稳定以及模型过拟合问题。因此，为实现最优的检测效果，将注意力机制头数设置为4。

3.4.2　GCN层数选择

随着GCN层数的增加，CEDMD方法能够获取到更远距离节点的信息，这有助于更准确地学习节点的特征表示。然而，当GCN的层数堆叠过深时，节点之间的特征表示可能逐渐趋于平滑，最终导致模型的过拟合问题，使实验性能下降。因此，为了达到最佳的检测性能并避免模型过拟合，需要对不同GCN层数进行实验效果评估。为达到最佳的实验效果，在CASIE和CySecED数据集上分别设置GCN层数为1、2、3和4进行实验，实验结果如图6所示。

分析图6可知，在GCN层数为2时模型的F₁分数最高，节点之间信息的传递和更新效果最好。随着网络层数的进一步增加，模型复杂性也随之增加，带来过拟合和性能下降的风险，最终对模型的整体表现产生负面影响。因此，本文将GCN的层数设置为2。

3.5　对比实验与结果分析

为验证CEDMD的有效性，将CEDMD与6种事件检测方法进行对比，其中包括4种有触发词的方法和2种无触发词的方法。

有触发词的方法包括：

（1）DMCNN^［29］：利用动态多池化卷积神经网络获取句子级别的特征，保存重要语义信息。

（2）CyberLSTM^［10］：融合实体和位置等多种信息，并利用BiLSTM和注意力机制进行事件检测。

（3）MOGANED^［30］：一种基于依存树的图卷积网络的事件检测方法，对多阶句法表示进行建模，用于事件检测。

（4）GatedGCN^［31］：提出一种新的门控机制，过滤基于图卷积神经网络的模型中隐藏向量的噪声信息以提高事件检测性能。

无触发词的方法包括：

（5）TBNNAM^［16］：基于目标事件类型对句子进行编码，实现无触发词事件检测，取得了与基于触发词的方法相当的效果。

（6）CSEDesc^［22］：通过拼接上下文相关词嵌入、独立词嵌入和字符级词嵌入并生成描述感知的词嵌入，实现无触发词的网络安全事件检测。

上述6种方法中，CSEDesc和CyberLSTM是面向网络安全领域的方法，其余方法均为面向通用领域的方法。本文的CEDMD方法与这6种方法在CASIE数据集和CySecED数据集上的检测结果（F₁分数）如表4所示。

由表4可知：

（1）DMCNN和CyberLSTM是只基于语义特征并基于触发词进行事件检测的两种方法。DMCNN结合词级别和句子级别的语义特征，基于动态池化的卷积神经网络对触发词进行识别和分类，从而实现基于触发词的事件检测。CyberLSTM融合了词性和实体等多种语义特征生成词嵌入向量，是一种基于双向长短期记忆网络和注意力机制的网络安全事件检测模型。DMCNN和CyberLSTM在所有事件检测方法中的效果较差，CyberLSTM方法中触发词识别和分类过程中实体边界的识别极大影响了事件检测效果。DMCNN和CyberLSTM方法都缺少句法特征分析以及语义特征和句法特征融合，在网络安全事件检测领域中利用事件描述信息模拟事件触发词并补充依存句法信息可以有效提高事件检测效果。

（2）MOGANED和GatedGCN是基于图卷积网络进行事件检测的方法。MOGANED使用图卷积网络和注意力机制，基于一阶句法关系和多阶句法关系进行触发词的识别和分类。GatedGCN在GCN计算句法依存图的过程中引入门控机制，基于触发候选词的信息，在GCN模型的隐藏向量中过滤噪声信息。这两种方法主要基于依存句法信息并使用图卷积计算进行触发词识别和分类，在通用领域事件检测任务中取得了较好的效果，但是在网络安全事件检测任务中，未考虑文本的专业领域语义信息和上下文信息，导致检测效果不佳。

（3）TBNNAM是一种无触发词事件检测方法，利用类型感知偏差神经网络计算目标事件类型与待检测句子的注意力分数模拟触发词。TBNNAM方法的检测性能优于CyberLSTM，说明基于事件类型和注意力机制可以模拟隐藏的事件触发词，实现无触发词事件检测。但是这一方法没有考虑事件描述信息、依存句法信息以及网络安全专业知识信息，导致检测效果不佳。

（4）CSEDesc方法的检测性能优于TBNNAM方法，说明融合多种词嵌入方法生成词嵌入向量并挖掘描述感知的词嵌入可以模拟已经隐藏的事件触发词，并且通过依存句法信息对句子进行建模可以有效提高事件检测效果。但是CSEDesc方法的检测性能不如本文提出的CEDMD方法，CSEDesc使用余弦函数获得事件描述感知的词嵌入向量并且仅通过图卷积网络获得句子的特征表示，与CSEDesc相比，本文CEDMD方法同时获取并融合了多层次语义特征和依存句法特征。说明对于网络安全文本的专业知识信息和上下文信息等多层次语义信息提取，以及融合依存句法信息可以有效提高网络安全事件检测效果。

（5）在CASIE和CySecED数据集上，CEDMD方法的检测性能指标优于其他6种方法，F₁分数分别提高了2.0%~7.9%和2.8%~26.6%，表明CEDMD方法通过多层次文本特征提取网络、依存句法图卷积网络以及网络安全事件检测器，有效提取并融合了网络安全领域的多层次语义和依存句法信息，提升了网络安全事件检测方法的效果。

3.6　消融实验与结果分析

由于本文方法包含多个关键组成部分，在实验中设计多个变体验证本文方法中各部分的有效性。

CEDMD\M：CEDMD\M在CEDMD方法的基础上删除多层次语义特征提取网络，通过BERT预训练模型和CSEDesc方法中的余弦函数生成事件描述感知的词嵌入向量，初始化图卷积网络中节点的特征表示，仅使用依存句法特征进行分类。

CEDMD\G：CEDMD\G在CEDMD方法的基础上删除依存句法图卷积网络，仅使用多层次语义特征进行分类。

CEDMD\S：CEDMD\S在CEDMD方法的基础上删除SecureBERT预训练模型，使用BERT模型代替SecureBERT预训练模型生成词嵌入向量。

CEDMD\B：CEDMD\B在CEDMD方法的基础上删除BiLSTM层。仅使用SecureBERT最后一层隐藏层的输出作为词嵌入向量。

CEDMD\A：CEDMD\A在CEDMD方法的基础上，使用TBNNAM方法中的通过事件类型模拟触发词的方法代替本文的事件描述感知注意力机制部分，生成待检测句子的语义特征表示。

CEDMD\GF：CEDMD\G在CEDMD方法的基础上删除依存句法图卷积网络中的位置感知计算过程。

表5、表6为在CASIE和CySecED数据集上消融实验的F₁分数结果对比。由表5、表6可知：

（1）多层次语义特征提取网络的影响：比较CEDMD和CEDMD\M在两个数据集上的结果，CEDMD的F₁分数优于CEDMD\M，结果表明本文提出的多层次语义特征提取网络可以有效整合网络安全领域专业信息、上下文信息和事件描述信息，从而提高事件检测效果。并且CEDMD\G的检测效果优于CEDMD\M，这表明CEDMD方法对事件检测性能的提升主要来源于多层次语义特征提取网络。

（2）依存句法图卷积网络的影响：比较CEDMD和CEDMD\G在两个数据集上的结果，CEDMD的F₁分数优于CEDMD\G，说明本文提出的依存句法图卷积网络能够有效提取依存句法特征，有利于提高网络安全事件检测性能。

（3）SecureBERT的影响：比较CEDMD和CEDMD\S在两个数据集上的结果，CEDMD的F₁分数优于CEDMD\S，这表明SecureBERT可以提取网络安全专业领域的语义信息，从而提高事件检测性能。

（4）BiLSTM的影响：比较CEDMD和CEDMD\B的性能，发现CEDMD的F₁分数优于CEDMD\B的F₁分数。实验证明，多层次语义特征提取网络生成的多层次特征能够整合上下文信息，从而提高模型的检测性能。

（5）事件描述感知多头注意力机制的影响：比较CEDMD和CEDMD\A的性能，结果表明CEDMD的F₁分数优于CEDMD\A。这说明事件描述感知注意力机制可以生成事件描述感知的多层次语义特征，模拟事件隐藏触发词，从而有效地融合事件描述信息。

（6）依存句法图卷积网络中位置感知函数计算的影响：比较CEDMD\GF和CEDMD的性能，结果表明CEDMD\GF的F₁分数优于CEDMD。这说明位置感知函数可以优化图卷积网络中依存关系的计算过程，更好的提取依存句法关系特征。

3.7　网络安全事件检测实例分析

为了进一步观察模型的性能，测试模型的泛化能力，对仅有少量样本事件类型和未知事件类型的事件检测进行分析。

表7列出了在CySecED数据集上进行训练的模型对于少数事件类型和未定义事件类型的检测结果。CySecED数据集中，DISCOVER.Backdoor和DISCOVER.Incorrect Permission的事件数量较少，仅占总事件标注数量的不足1%，属于少量样本。对于出现DISCOVER.Backdoor事件类型的句子模型可以有效检测出其包含事件描述对应的事件类型，预测标签正确标记为1。而相同的句子未出现DISCOVER.Incorrect Permission事件类型，预测标签正确标记为0。

Attack.Ransom是CASIE数据集中的事件类型，对于CySecED数据集上进行训练的模型属于未知事件类型。模型对于出现Attack.Ransom的句子，预测标签正确的标记为1。网络安全事件检测实例分析表明本文提出的方法可以有效检测未定义的网络安全事件。

3.8　事件描述感知注意力可视化分析

为了进一步观察模型的性能，评估事件描述感知注意力的效果，对CySecED数据集中的“Any malicious site can potentially make a victim’s web browser connect to a My Cloud device on the network and compromise it”语句进行注意力分数可视化实例分析，这句话在数据集中标注为“ATTACK.Web Compromise”事件类型，事件描述感知注意力学习到的注意力分数的两种情况如图7所示。

在第一种情况下，语句为正例样本，存在“ATTACK.Web Compromise”事件，“make”、“connect”和“compromise”是“ATTACK.Web Compromise”事件最重要的关键词，本文模型通过赋予其较大的注意力分数成功捕获了这一特征。在第二种情况下，语句为负例样本，不存在“ATTACK.Virus”事件，所以模型为每个单词分配了几乎相等的注意力分数。通过事件描述感知注意力实例分析，可以证明本文的事件描述感知注意力可有效捕捉语句中与事件类型更相关的部分。

4 结束语

为提高网络安全事件检测的性能，本文提出一种通过融合多层次语义特征和依存句法特征对句子进行建模，实现无触发词网络安全事件检测的方法。区别于传统的事件检测方法依赖于触发词的识别和分类，本文方法不依赖触发词分类，有效消减触发词标注质量对事件检测效果的影响。在利用预训练的SecureBERT和BiLSTM获取实例的网络安全专业领域语义信息和上下文信息的基础上，通过事件描述感知注意力机制融合事件描述信息，获得多层次语义特征；同时利用依存句法图卷积网络提取句法结构信息，并引入位置感知函数增强复杂句法分析的性能，获得依存句法特征。将融合后的特征作为待检测句子的最终向量表示输入网络安全事件检测器，实现网络安全事件检测。在CASIE和CySecED数据集上的实验结果表明，本文方法能够充分挖掘网络安全文本的多层次语义信息，并有效融合依存句法信息，提升对网络安全事件的检测性能。本文方法尽管在对网络安全文本进行特征提取的过程中融合了语义和句法结构信息，但尚未考虑文档级别的信息。CySecED数据集中的一些复杂事件类型需要根据文档级别的信息进行推理判断，缺乏长文本的分析能力可能会导致对CySecED数据集中复杂事件类型的检测效果不佳。在未来研究中，将探索融合更多的辅助信息，例如文档级信息以及实体标签信息等，进一步提高网络安全事件检测效果。

参考文献

[1] Sun N, Ding M, Jiang J, et al. Cyber threat intelligence mining for proactive cybersecurity defense: a survey and new perspectives[J]. IEEE Communications Surveys & Tutorials, 2023, 25(3): 1748-1774.

[2] Ge W, Wang J. SeqMask: behavior extraction over cyber threat intelligence via multi-instance learning[J]. The Computer Journal, 2024, 67(1): 253-273.

[3] 郭渊博, 李勇飞, 陈庆礼, 等. 融合Focal Loss的网络威胁情报实体抽取[J]. 通信学报, 2022, 43(7):85-92.

[4] Guo Yuan-bo, Li Yong-fei, Chen Qing-li, et al. Fusion of Focal Loss’s cyber threat intelligence entity extraction[J]. Journal on Communications, 2022, 43(7): 85-92.

[5] 杨秀璋, 彭国军, 李子川, 等. 基于Bert和BiLSTM-CRF的APT攻击实体识别及对齐研究[J]. 通信学报, 2022, 43(6): 58-70.

[6] Yang Xiu-zhang, Peng Guo-jun, Li Zi-chuan, et al. Research on entity recognition and alignment of APT attack based on Bert and BiLSTM-CRF[J]. Journal on Communications, 2022, 43(6): 58-70.

[7] Wang X, Liu J. A novel feature integration and entity boundary detection for named entity recognition in cybersecurity[J]. Knowledge-Based Systems, 2023, 260: No. 110114.

[8] Wang G, Liu P, Huang J, et al. KnowCTI: knowledge-based cyber threat intelligence entity and relation extraction[J]. Computers & Security, 2024, 141:No. 103824.

[9] Jo H, Lee Y, Shin S. Vulcan: automatic extraction and analysis of cyber threat intelligence from unstructured text[J]. Computers & Security, 2022, 120:No.102763.

[10] 史慧洋, 魏靖烜, 蔡兴业, 等. 威胁情报提取与知识图谱构建技术研究[J]. 西安电子科技大学学报,2023, 50(4): 65-75.

[11] Shi Hui-yang, Wei Jing-xuan, Cai Xing-ye, et al. Research on threat intelligence extraction and knowledge graph construction technology[J]. Journal of Xidian University, 2023, 50(4): 65-75.

[12] Li Z, Zeng J, Chen Y, et al. AttacKG: constructing technique knowledge graph from cyber threat intelligence reports[C]∥European Symposium on Research in Computer Security,Copenhagen, Denmark, 2022: 589-609.

[13] Satyapanich T, Ferraro F, Finin T. Casie: extracting cybersecurity event information from text[C]∥Proceedings of the AAAI Conference on Artificial Intelligence, New York,USA,2020: 8749-8757.

[14] Li Q, Li J, Sheng J, et al. A survey on deep learning event extraction: approaches and applications[J]. IEEE Transactions on Neural Networks and Learning Systems, 2022, 35(5): 6301-6321.

[15] 任永功, 林禹竹, 唐玉洁, 等. 基于混合神经网络和注意力机制的生物医学事件触发词识别方法[J]. 电子学报, 2024, 52(9): 3206-3216.

[16] Ren Yong-gong, Lin Yu-zhu, Tang Yu-jie, et al. A biomedical event trigger identification method based on hybrid neural network and attention mechanism[J]. Acta Electronica Sinica, 2024, 52(9): 3206-3216.

[17] 肖梦南, 贺瑞芳, 马劲松. 基于分层潜在语义驱动网络的事件检测[J]. 计算机研究与发展, 2024, 61(1): 184-195.

[18] Xiao Meng-nan, He Rui-fang, Ma Jin-song. Event detection based on hierarchical latent semantic-driven network[J]. Journal of Computer Research and Development, 2024, 61(1): 184-195.

[19] 贺瑞芳, 马劲松, 黄孝家, 等. 基于元属性学习的事件检测[J/OL]. [2024-11-04].

[20] He Rui-fang, Ma Jin-song, Huang Xiao-jia, et al. Event detection based on meta-attribute learning[J/OL]. [2024-11-04].

[21] 刘浏, 丁鲲, 刘姗姗, 等. 基于机器阅读理解的事件检测方法[J]. 吉林大学学报: 工学版, 2024, 54(2):533-539.

[22] Liu Liu, Ding Kun, Liu Shan-shan, et al. Event detection method as machine reading comprehension[J]. Journal of Jilin University (Engineering and Technology Edition), 2024, 54(2): 533-539.

[23] Liu S, Li Y, Zhang F, et al. Event detection without triggers[C]∥Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Minneapolis, USA, 2019: 735-744.

[24] 程永, 毛莺池, 万旭, 等. 基于双重注意力的无触发词中文事件检测[J]. 计算机科学, 2023, 50(1):276-284.

[25] Cheng Yong, Mao Ying-chi, Wan Xu, et al. Chinese event detection without triggers based on dual attention[J]. Computer Science, 2023, 50(1): 276-284.

[26] Trong H M D, Le D T, Veyseh A P B, et al. Introducing a new dataset for event detection in cybersecurity texts[C]∥Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), Online, 2020: 5381-5390.

[27] Yagcioglu S, Seyfioglu M S, Citamak B, et al. Detecting cybersecurity events from noisy short text[C]∥Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies,Minneapolis, USA, 2019: 1366-1372.

[28] Wang J, Wang K, Yao Y, et al. Event detection with multi-order edge-aware graph convolution networks[J]. Data & Knowledge Engineering, 2023, 143: No. 102109.

[29] Liu Z. A review of advancements and applications of pre-trained language models in cybersecurity[C]∥The 12th International Symposium on Digital Forensics and Security(ISDFS), San Antonio,USA, 2024: 1-10.

[30] Wang G, Liu P, Huang J, et al. CSEDesc: cyberSecurity event detection with event description[C]∥International Conference on Artificial Neural Networks, Heraklion, Greece, 2023: 26-38.

[31] Tang M, Guo Y, Bai Q, et al. Trigger-free cybersecurity event detection based on contrastive learning[J]. The Journal of Supercomputing, 2023, 79(18): 20984-21007.

[32] 汤萌萌, 郭渊博, 张晗, 等. 基于提示问答数据增强的小样本网络安全事件检测方法[J]. 通信学报,2024, 45(8): 62-74.

[33] Tang Meng-meng, Guo Yuan-bo, Zhang Han, et al. Few-shot network security event detection method by data augmentation with prompting question answering[J]. Journal on Communications, 2024,45(8):62-74.

[34] Manning C D, Surdeanu M, Bauer J, et al. The Stanford CoreNLP natural language processing toolkit[C]∥Proceedings of 52nd Annual Meeting of the Association for Computational Linguistics: System Demonstrations, Baltimore, USA, 2014: 55-60.

[35] Aghaei E, Niu X, Shadid W, et al. Securebert: a domain-specific language model for cybersecurity[C]∥International Conference on Security and Privacy in Communication Systems,Dalian,China, 2022: 39-56.

[36] Aghaei E, Al-Shaer E. CVE-driven attack technique prediction with semantic information extraction and a domain-specific language model[J/OL].[2023-08-29].

[37] Li X, Fu H. SecureBERT and LLAMA 2 empowered control area network intrusion detection and classification[J/OL].[2023-08-29].

[38] Chen Y, Xu L, Liu K, et al. Event extraction via dynamic multi-pooling convolutional neural networks[C]∥Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing(Volume 1: Long Papers), Beijing, China, 2015: 167-176.

[39] Yan H, Jin X, Meng X, et al. Event Detection with Multi-Order Graph Convolution and Aggregated Attention[C]∥Proceedings of the Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing(EMNLP-IJCNLP), Hongkong, China, 2019: 5766-5770.

[40] Lai V D, Nguyen T N, Nguyen T H. Event detection: gate diversity and syntactic importance scores for graph convolution neural networks[C]∥Proc of the Conf on Empirical Methods in Natural Language Processing, Online, 2020: 5405-5411.

基金资助

国家自然科学基金民航联合研究基金重点项目(U2433205)

江苏省基础研究计划自然科学基金青年基金项目(BK20230558)