基于交叉熵策略优化的强化学习油藏注采优化方法

摘要

在水驱油藏开发过程中，注采优化是调整油藏渗流场分布、提高原油采收率的关键技术。针对现有方法中策略探索能力不足和历史经验样本利用效率低等问题，提出了一种基于交叉熵策略优化的强化学习油藏注采优化方法。该方法将注采优化问题建模为马尔可夫决策过程，以交叉熵策略优化的软演员-评论家算法为框架，利用最大熵策略探索机制增强策略探索能力，以避免陷入局部最优。同时结合交叉熵方法对策略采样过程进行优化，减少无效探索，快速适应油藏流场动态变化。利用与环境交互获得历史调控经验数据，不断迭代优化直至学会最优的注采调控优化策略。将所提出的算法应用于二维油藏模型实例上进行测试，实验结果表明，所提出的基于交叉熵策略优化的强化学习油藏注采优化方法在优化性能和增油控水方面优于传统的进化算法和强化学习算法。

关键词

注采优化 / 强化学习 / 马尔可夫决策过程 / 最大熵策略探索机制 / 交叉熵策略优化