基于动态分层强化学习的知识图谱推理

摘要

强化学习可以将知识图谱多跳推理建模成马尔科夫序列决策过程，提高预测实体的准确性和可解释性，是当前的研究热点.现有的强化知识推理任务经常涉及庞大的状态和动作空间，容易造成维度灾难，从而导致算法在解决复杂的动作选择问题时表现不佳；同时大多数知识图谱存在不完整的问题，导致模型在推理时无法高效地搜索路径.为了应对上述挑战，本文提出一种基于动态分层强化学习的知识图谱推理模型，将知识推理分解成三级分层决策任务，每一级都有一个智能体从各自的动作空间中做出选择，从而降低了问题的复杂度.具体地，首先选择关系，其次选择与关系相连的预聚类的实体簇，最后采用动态选择机制从实体簇中选择相应的尾实体.此外，本文设计一个同时考虑答案准确性和路径合理性的的奖励重塑函数，指导智能体选择更为合理的路径，同时缓解奖励稀疏的问题.本文在3个基准数据集上将所提出的模型与7种知名推理方法进行比较，实验结果表明本文所提方法取得了非常具有竞争力的结果.

关键词

知识图谱推理 / 动态分层强化学习 / 动态选择 / 奖励重塑