PGCA-RAG:面向大语言模型检索增强的并行图缓存架构

摘要

目前大语言模型在检索增强(Retrieval-Augmented Generation, RAG)领域大部分工作都着重于提高检索能力提高召回精度，以及结合大语言模型对知识图谱进行构建.但是在面对实际工程化任务时，RAG系统往往会面临高并发场景，目前的RAG系统存在知识图谱数据检索速度慢，系统并发能力差等问题.为了克服这些局限性，本文提出了一种面向大语言模型检索增强的并行图缓存架构(PGCA-RAG),和一种面向大语言模型检索增强的动态缓存图数据模型知识图缓存单元(KGCU),能够在RAG系统中表现出良好的适用性，并基于VoltDB实现了并行缓存调度算法.通过仿真对比实验结果表明相比于现有架构，PGCA-RAG在多轮查询检索速度指标上提高了82.8%,同时在并发测试中性能保持领先，较好的证明了该并行图缓存架构的合理性和有效性.

关键词

并行架构 / 图缓存 / 大语言模型 / 检索增强 / 知识图谱

基金资助

国家自然科学基金项目(61572325)资助; 上海重点科技攻关项目(19DZ1208903)资助