一种基于强化学习的软件安全实体关系预测方法

摘要

为改善现有基于翻译的软件安全知识图谱实体关系预测方法不具备可解释性，而基于路径推理的方法准确性不高的现状，本研究提出一种基于强化学习的预测方法 .该方法首先分别使用TuckER模型和SBERT模型将软件安全知识图谱的结构信息和描述信息表示为低维度向量，接着将实体关系预测过程建模为强化学习过程，将TuckER模型计算得到的得分引入强化学习的奖励函数，并且使用输入的实体关系向量训练强化学习的策略网络，最后使用波束搜索得到答案实体的排名列表和与之对应的推理路径.实验结果表明，该方法给出了所有预测结果相应的关系路径，在链接预测实验中hit@5为0.426,hit@10为0.797,MRR为0.672，在事实预测实验中准确率为0.802，精确率为0.916，在准确性方面与同类实体关系预测模型相比具有不同程度的提升，并且通过进行可解释性分析实验，验证了该方法所具备的可解释性.

关键词

软件安全实体关系 / 强化学习 / 链接预测 / 知识图谱 / 可解释推理

基金资助

四川省科技计划项目资助(2022YFG0171); 专职博士后研发基金资助（SCU221092）