基于马尔可夫决策过程的动态目标防御策略优化方法

A Strategy Optimization Model of Moving Target Defense Based on Markov Decision Process

摘要

动态目标防御技术作为“改变游戏规则”的防御技术，在对抗高级持续威胁中提供了一种主动变换的防御方法。虽然已有部分动态防御技术成功应用，但针对其变化策略的研究和优化还停留在单层次、单参数上，阻碍了多层次融合的动态防御技术应用于实际部署。针对该问题，从系统角度分析了动态目标防御技术中不同参数对系统的影响，建立了系统正常服务与重配置过程模型，在此基础上，提出了基于马尔可夫决策过程的动态目标防御策略优化方法，引入Q⁃learning算法生成了优化策略集合，解决了多层次多变化参数集合的动态防御技术的策略优化问题。仿真实验表明，利用本文提出的优化模型和算法，计算出了优化后的动态目标防御重配置策略，该优化策略能够较好地平衡系统的可用性和安全性，指导今后动态目标防御技术实际部署问题。

Abstract

Moving target defense (MTD) is a game-changing technique providing a proactive method against advanced persistent threats (APT) in cybersecurity. Although partial MTD techniques have been employed in several systems, the research of optimization for strategies is still stalled in single layer and single parameter, which hinders the world-wide application multilayer MTD technology. Focused on the MTD strategy optimization, the basic model of MTD and the influence of diverse parameters is analyzed from system view, while the model for the process of service-reconfiguration is established in this paper. Based on the Markov decision process (MDP), the MTD strategy optimization model is presented, and the Q-learning algorithm is introduced, which solves the strategy selection and state explosion of MTD. Finally, with the assessment model, a case study is given to illustrate the method by calculating the optimal strategy that can balance the system availability and security, which could guide the deployment of MTD in the future.

Graphical abstract

关键词

动态目标防御 / 策略优化 / 马尔可夫决策过程 / Q⁃learning

Key words

moving target defense (MTD) / strategy optimization / Markov decision process / Q-learning

0　 引 言

为限制网络空间中攻防不对称性使防御者受困于易攻难守的不利局面，动态目标防御（moving target defense，MTD）^[1]作为“改变游戏规则”的革命性技术之一于2011年被美国国土安全部赛博安全研发中心提出。MTD期望不断改变被保护系统的攻击面，使得攻击者获取的攻击面是随机的、动态的、不可预测的。这种不断变化的思路会增加攻击者的攻击难度及代价，有效限制系统脆弱性的暴露，减少漏洞被利用的机会，提高系统的弹性和安全性^[2]。随着MTD技术研究不断深入^[3,4]，大量的moving target (MT)技术被提出，这些技术从部署层次上主要可以分为三类：① 网络层MT技术，以网络参数变换为基础，如RHM^[5]、PPH^[6]和APOD^[7]等；② 主机层MT技术，以云平台变换和运行时环境参数变换为基础，如TALENET^[8]、云平台变换^[9]、ISR^[10]和PSD^[11]等；③ 数据存储层MT技术，以存储多样性为基础，如RDD^[12]等。

虽然MT技术日益成熟，部分防御手段已经成功应用到实际系统安全防护中，但是针对MTD策略选择和优化问题仍是需要解决的重点。所以，针对MT技术的效能折中优化是目前研究的热点^[13]。已有学者将博弈论和马尔可夫模型等技术应用于MTD的策略优化，如Abdelrahman等^[14]针对无线网络中随机加密的MTD技术，采用随机博弈模型对单控制节点进行建模，研究了存在MT技术防御代价的情况下，纳什均衡的存在性和相关性质，提出了一种求解均衡MTD策略的算法;Sengupta等^[15]针对Web应用程序的MT技术，采用重复贝叶斯博弈进行建模，研究了在不同Web配置之间切换成本存在时，生成一个有效的切换策略，并结合CVE漏洞库得到了博弈双方的现实奖励值，通过不确定的攻击输入验证了模型的鲁棒性。Lei等采用完全信息马尔可夫博弈模型^[16]和不完全信息马尔可夫博弈模型^[17]，提出了MTD最优策略选择算法，用以平衡防御收益和网络服务质量，分析了模型的纳什均衡解，并通过实例对该方法进行了仿真和推导，验证了该方法的可行性和有效性。

我们通过分析发现，上述方法没有很好地考虑多层次多参数组合的MTD技术的策略优化问题，且其采用的博弈论方法并没有证明均衡解与系统最优解之间的关系。所以，研究一种针对多层次MTD技术及其变化策略中多个变化参数的组合的MTD策略优化方法是十分必要的。

本文首先根据MTD技术的基本原理，从系统角度分析了部署MTD系统的服务和重配置过程；然后对现有的MTD策略优化方法进行分析，提出了基于马尔可夫决策过程（Markov decision process，MDP)的MTD策略优化模型；针对多层次多参数组合的MTD策略空间爆炸问题，采用了Q⁃learning算法在多项式时间内生成了优化策略；最后，通过仿真实验，对本文提出的策略优化方法的有效性和鲁棒性进行了分析。

1　 MTD系统模型

1.1　MTD基本原理

在一个部署了MTD技术的信息系统中，MT技术带来了随机性、动态性和不确定性。一个部署了多种MTD技术的系统可以抽象为图1。

如图1所示，一个MTD系统的变化可表示为其中的节点S将状态n_i重配置到状态n_{i+\mathrm{1}}，该过程可以记为

S(n_{i+\mathrm{1}})=R(S(n_i),\tau ,\omega ,\eta ,\sigma) (1)

其中，R(S,\tau ,\omega ,\eta ,\sigma)为重配置函数，\tau为重配置周期，\omega为重配置空间大小，\eta为重配置方法，\sigma为重配置所需时间。从系统安全性角度考虑，一个重配置周期越短、空间越大、方法越随机的MTD技术带来的安全性提升也最大；但是从系统可用性角度考虑，一个重配置周期越长、方法越确定、所需时间越短的MTD技术对系统的影响越小。因此，在实际部署MTD技术时，必然要综合考虑系统的安全性和可用性，这就需要在每次对系统进行重配置时，根据系统状态和攻防过程对MTD技术的策略进行优化。

1.2　MTD系统服务与重配置过程

当目标系统部署了MTD技术时，其原本连续的系统服务过程被重配置过程打断，被切分成一个个“正常服务-策略选择-重配置”周期，其基本过程如图2。

如图2所示，MTD系统在一个“正常服务-策略选择-重配置”周期内包含了三个主要过程。其中系统服务占比越大则系统的可用性越好，策略选择越随机、越动态、越不确定则系统安全性越好，策略选择和重配置占比越小其对系统的性能影响也就越小。从系统安全性角度，重配置过程保证了系统的随机性、动态性和不确定性；从系统可用性角度，重配置过程打断了系统正常服务过程，降低了系统的可用性。所以，在策略选择过程中，需要解决MTD技术的安全性和可用性折中问题。因此，MTD系统在进行策略选择时，需要对系统进行建模，从而得到当前的系统状态集合、可选择的策略集合；需要设计合理的回报函数，同时考虑系统的安全性和可用性；需要选择合适的最优策略生成算法，可以在多项式时间内针对多层次MTD技术的不同变化参数集合生成最优策略。

2　 基于MDP的MTD策略优化模型

2.1　MDP模型与MTD策略优化建模

通过对MTD系统服务与重配置过程的分析，可以将该过程建模为序列决策模型。由于MTD技术带来的系统变化具有无后效性，所以可以利用马尔可夫决策过程来对MTD的策略优化进行建模。MDP是指决策者周期性或连续地观察具有马尔科夫性的随机动态系统，并顺序地做出决策^[18]。该过程的特点是：系统模型只依赖于当前的系统状态和选取的策略，与历史的状态和策略无关。马尔科夫决策过程可由一个五元组描述

M=〈T,S,A,P,R〉(2)

其中，T为决策时刻集合；S为系统状态集合；A为可用的动作集合；P为状态转移概率，用P(s^{\text{'}}\left|s,a)\right.表示在状态s执行动作a到达状态s^{\text{'}}的概率；R为回报函数，R（s,a)表示在状态s执行动作a得到的立即回报。

在MTD策略优化模型中，首先根据MTD系统的组成，分析其决策时刻、系统状态、可用动作集合和状态转移概率；然后提出回报函数，从而对系统的安全性和可用性进行折中；最后根据模型参数，给出最优策略的生成方法。

在MTD系统服务与重配置过程中，为了保证系统的安全性和可用性，在每次进行MTD重配置前，都需要对下一步的策略进行选择，则策略优化过程中下一步策略的选择时刻也就对应到了MDP模型中的决策时刻。如果在某次重配置前，攻击者已经完成了目标攻击，后续的重配置将不会提高系统的安全性，本文定义整个决策过程在该时刻结束，记为T_n。MTD策略优化模型是一个有限可数阶段模型，其决策时刻T=\left\{\mathrm{1,2},\dots ,T_n\right\},0<T_n<∞。

MTD策略优化模型中的系统状态是在每个决策时刻t时的MTD技术的参数集合，可表示为

S_t=\mathrm{〈}{\tau }_t,{\omega }_t,{\eta }_t\mathrm{〉}(3)

其中，{\tau }_t=\left\{{\tau }_t^{\mathrm{1}},{\tau }_t^{\mathrm{2}},\cdots ,{\tau }_t^L\right\}是L个层次MTD技术的重配置周期的集合，{\omega }_t=\left\{{\omega }_t^{\mathrm{1}},{\omega }_t^{\mathrm{2}},\cdots ,{\omega }_t^L\right\}是L个层次MTD技术的重配置空间的集合，{\eta }_t=\left\{{\eta }_t^{\mathrm{1}},{\eta }_t^{\mathrm{2}},\cdots ,{\eta }_t^L\right\}是L个层次MTD技术的重配置方法的集合。

MTD策略决策与优化模型中的动作集合是在每个决策时刻t由系统状态S_t所决定的可用动作集合。由于系统在动作A的使能下从状态S改变到S'，即S\stackrel{A}{\to }S\text{'}，所以本文动作集合A可以表示为

A_l=\mathrm{〈}{\tau }_t^{\mathrm{\text{'}}},{\omega }_t^{\mathrm{\text{'}}},{\eta }_t^{\mathrm{\text{'}}}\mathrm{〉}(4)

其中，{\tau }_t^{\mathrm{\text{'}}}=\left\{{\tau }_t^{\mathrm{\text{'}}\mathrm{1}},{\tau }_t^{\mathrm{\text{'}}\mathrm{2}},\cdots ,{\tau }_t^{\mathrm{\text{'}}M}\right\}（）是当前决策时刻t中M个可选MTD技术的重配置周期的集合，{\omega }_t^{\mathrm{\text{'}}}=\left\{{\omega }_t^{\mathrm{\text{'}}\mathrm{1}},{\omega }_t^{\mathrm{\text{'}}\mathrm{2}},\cdots ,{\omega }_t^{\mathrm{\text{'}}M}\right\}()是当前决策时刻t中M个可选MTD技术的重配置空间的集合，{\eta }_t^{\mathrm{\text{'}}}=\left\{{\eta }_t^{\mathrm{\text{'}}\mathrm{1}},{\eta }_t^{\mathrm{\text{'}}\mathrm{2}},\cdots ,{\eta }_t^{\mathrm{\text{'}}M}\right\}（）是当前决策时刻t中M个可选MTD技术的重配置方法的集合。

由于在MTD策略优化模型中，每一个动作在改变系统状态时是确定的，即每个动作会确定地改变MTD技术的配置，所以本文定义P(s^{\text{'}}\left|s,a)\right.=1,s,s\text{'}\in S,a\in A。

在MTD策略优化模型中，由于要同时考虑MTD技术对系统安全性的提升和性能的影响，所以在设计回报函数时需要同时考虑MTD技术的有效性和性能耗费，本文定义回报函数为

R(s^{\text{'}}\left|s,a)\right.=R_{\mathrm{e}\mathrm{f}\mathrm{f}}(s^{\text{'}}\left|s,a)\right.-R_{\mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}}(s^{\text{'}}\left|s,a)\right.(5)

其中:R_{\mathrm{e}\mathrm{f}\mathrm{f}}(s^{\text{'}}\left|s,a)\right.是动作a的安全性回报，R_{\mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}}(s^{\text{'}}\left|s,a)\right.是动作a的性能回报。

由于需要对多层次MTD技术进行策略优化，所以其安全性回报和性能回报也应该是系统整体的评估。根据文献[19]中对MTD技术有效性的研究，通过评估系统攻击面的变化参数来得到安全性回报。因为在系统攻击面变化参数中，有些参数仅与系统状态有关，而与MTD技术和攻击状态无关，所以本文根据当前MTD技术的发展，选取了6个典型的攻击面变化参数，定义了系统攻击面的MTD技术安全性参数

M_{\mathrm{e}\mathrm{f}\mathrm{f}}^{\mathrm{*}}=〈L_{\mathrm{n}\mathrm{p}},L_{\mathrm{m}\mathrm{p}},\Omega,S_n,{\Psi }_{\mathrm{t}\mathrm{j}},{\Phi }_{\mathrm{c}\mathrm{c}}〉(6)

其中，*表示该攻击面参数属于外攻击面（eas）或内攻击面（ias）,L_{\mathrm{n}\mathrm{p}}为攻击面网络位置信息，包含IP地址、端口号和协议信息；L_{\mathrm{m}\mathrm{p}}为攻击面物理位置信息，包含系统中可被利用的漏洞内存地址信息；\Omega为攻击面中可被利用的“服务”组合；S_n为攻击面中可被利用的资源数量；{\Psi }_{\mathrm{t}\mathrm{j}}为攻击者安装后门的信息；{\Phi }_{\mathrm{c}\mathrm{c}}为攻击者所需控制的信息。系统的安全性参数包含了系统攻击面的大小（可被利用的资源数量）、强度（后门与控制信息）、形状（可被利用的资源数量）和位置（网络与物理位置），可以很好地衡量攻防对抗过程中防御的有效性。

本文根据文献[20]采用攻击者知识获取模型来描述攻击者的能力，并引入攻击者抽象的可利用的系统资源即外攻击面和防御者抽象的可重配置的系统资源即内攻击面来获取MTD技术安全性参数。利用Jaccard相似系数来对比外攻击面参数和内攻击面参数，从而计算出动作的安全性回报，具体计算如下式

R_{\mathrm{e}\mathrm{f}\mathrm{f}}(s{}^{\text{'}}\left|s,a)\right.=\frac{M_{\mathrm{e}\mathrm{f}\mathrm{f}}^{\mathrm{e}\mathrm{a}\mathrm{s}}(s\text{'}\left|s,a\right.)\bigcap M_{\mathrm{e}\mathrm{f}\mathrm{f}}^{\mathrm{i}\mathrm{a}\mathrm{s}}(s\text{'}\left|s,a\right.)}{M_{\mathrm{e}\mathrm{f}\mathrm{f}}^{\mathrm{e}\mathrm{a}\mathrm{s}}(s\text{'}\left|s,a\right.)\bigcup M_{\mathrm{e}\mathrm{f}\mathrm{f}}^{\mathrm{i}\mathrm{a}\mathrm{s}}(s\text{'}\left|s,a\right.)}(7)

在计算动作的性能回报时，本文根据文献[21]，针对重配置过程的频率和花费时间，定义了MTD技术重配置中断系数，R_{\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{r}}^l=T_m^l/{\tau }^l，其中T_m^l为第l个MTD技术重配置所需时间。同时，还需考虑每个S\stackrel{A}{\to }S\text{'}时不同层次MTD技术的发生次数，从而采用加权平均概念来计算动作的性能回报，具体计算如下式

R_cost(s{}^{\text{'}}\left|s,a)\right.=\frac{\stackrel{K}{\sum _{k=\mathrm{1}}}{n}_k(s\text{'}\left|s,a\right.)\cdot R_{\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{r}}^k}{\stackrel{K}{\sum _{k=\mathrm{1}}}{n}_k(s\text{'}\left|s,a\right.)}(8)

其中，n_k(s\text{'}\left|s,a\right.)为第k个MTD技术在动作a下的重配置次数，K为在动作a下进行重配置的MTD技术总数，且。

在马尔科夫决策过程中仅根据即时回报R不能对策略进行全面的评判，还需考虑延迟回报，即为当前状态下采取策略的长期影响，可定义回报的值函数

V(s)=\sum _{s\text{'}}P(s\text{'}\left|s,a\right.)[R(s\text{'}\left|s,a\right.)+\gamma V(s\text{'})] (9)

其中\gamma为折扣因子。

2.2　基于Q⁃learning的优化策略生成算法

通过对MTD策略优化模型的分析，在部署了多层次MTD技术后，如果在每个决策时刻需要对不同MTD技术的重配置周期、空间和方法进行选择，那么系统状态空间就会呈指数级上涨,并且在采用策略迭代或是值迭代算法时，还需对策略回报的期望值进行计算。显然，在MTD策略优化模型下，采用一般的最优策略算法是无法在多项式时间内得到结果的。

所以，本文在计算最优策略时，采用了Q⁃learning算法来保证在多项式时间内生成最优策略^[21]。其基本思想是对每个状态s和该状态上可以采用的行动a直接估计其回报因子Q(s,a),s\in S,a\in A，并在选择行动时按照以下准则进行,

a^n=\mathrm{a}\mathrm{r}\mathrm{g}\underset{a\in A}{\mathrm{m}\mathrm{a}\mathrm{x}}{\overline{Q}}^{(n-\mathrm{1})}(s,a)(10)

其中{\overline{Q}}^{(n)}为回报因子Q第n次迭代的估计值。该方法既不需要计算数学期望，也不需要估计转移状态的信息，其算法伪代码如算法1所示。

由于Q⁃learning是一个离线算法，所以其Q值表可以在生成具体策略之前利用先验知识进行计算，所以其时间复杂度的高低不会影响策略优化。在Q⁃learning算法计算得到Q值表后，由于MDP的最优策略选择会倾向于某一个或某几个特定的策略，在一定程度上限制了系统的随机性、动态性和不确定性，所以在实际生成策略时，本文仍按照ε⁃greedy算法，在最后生成的最优重配置策略中加入一定的随机动作选择，进一步保证MTD系统的随机性和不确定性，并将该策略称为MDP优化策略。

3　 仿真实验与结果分析

在仿真实验中，本文构建如图3所示的网络拓扑结构，并在其中部署了相应的MTD技术，对每个MTD技术优化重配置周期和空间这两个参数，具体攻防参数如表1和表2所示，本文的MDP-MTDSO（Markov decision process based MTD strategies optimization）模型参数如表3所示。在仿真实验中，本文主要考虑基于网络杀伤链的渗透攻击，并采用逻辑时间t_{\mathrm{c}}来代替真实时间，即在每个逻辑时间内，攻击者和防御者都可以完成1个基本动作^[22]。同时，每次迭代的结束标志是攻击者达到目标。

本文假设攻击者是理性的，他只会选择对自身最有利的攻击手段。攻击过程可简述为：攻击者以外部用户身份入侵该系统，需要收集Web服务器有关信息，利用该服务器中的漏洞对其进行攻击，获取其权限，并以它为跳板建立一条在外部用户和内部数据服务器之间的可靠连接，最终获取由内防火墙保护的数据服务器内机密数据。

为了分析本文方法的有效性和鲁棒性，针对本文提出的模型，给出MDP优化策略的结果。针对三种不同层次MTD技术，分别给出了优化后的重配置参数随模拟时间的改变情况，如图4,5,6所示。

重配置周期决定了MTD技术何时对系统资源进行变化，周期越长系统资源的确定性越高，周期越短系统资源的动态性越强。如果系统中可被攻击者利用的资源确定性高，攻击者获取攻击知识实施攻击的代价就小，系统的安全性就会降低，而此时系统增加了正常服务的占比，系统的可用性会提高；如果系统资源的动态性高，攻击者获取攻击知识实施攻击和维持控制连接代价就大，系统的安全性会提高，而此时系统降低了正常服务的占比，系统的可用性就会降低，且重配置所需时间越长对系统可用性影响就越大。重配置空间的改变不会导致系统正常服务占比的改变，即不会影响系统的可用性，但会影响系统的安全性，越小的空间意味着攻击者需要付出的代价越小。

如图4~图6所示，在仿真实验中对三种MTD技术同时优化策略中重配置的周期和空间。由于重配置周期不仅影响系统安全性也影响系统可用性，所以在Q⁃learning算法生成的优化策略中，其策略倾向于延长重配置周期，以提高系统的可用性。对比优化策略中图4（a）、图5（a）与图6（a）的重配置周期随模拟时间变化，其中平台轮转技术所需重配置时间最长，优化策略直接将其重配置周期选定为最长；而软件变换和IP地址变换技术重配置所需时间适中，优化策略根据系统安全性变化适度延长其重配置周期。同时，重配置空间主要影响系统安全性，所以在Q⁃learning算法生成的优化策略中，其策略倾向于根据系统安全性和MTD重配置时间选择某个特定的策略，并根据系统状态和先前策略进行适度调整。如图4（a）中，在优化初期由于系统具备较大的动态性，其重配置空间选定较小，但随着模拟进行，其重配置周期选定比较固定且较长，故在模拟时间后期增大重配置空间。相较于策略固定的MTD技术，这些变化体现了本文模型在优化时不断平衡系统可用性与安全性的特点。同时，从优化策略的结束点可以看出，由于从系统安全性和可用性角度进行了优化，所以攻击者完成攻击时，系统处于一个重配置较为稳定的策略中，这也反映了本文优化方法在一定程度上牺牲了系统的安全性，从而提升了系统的可用性。

此外，将纯随机选择策略与Q⁃learning算法优化策略相比，如图4（b）、图5（b）和图6（b）所示，纯随机策略受限于策略选择的随机性，重配置周期和空间都随模拟时间进行随机变化。如果随机选择的策略重配置周期过小，则会大大降低系统的可用性，如果随机选择的策略重配置周期过大，则会大大降低系统的安全性，使纯随机策略无法平衡系统的安全性和可用性。而Q⁃learning算法选择的策略明显具有对系统安全性和可用性的权衡，注重策略的相对稳定性，但牺牲了部分系统的安全性。

4　 结 语

本文通过对现有的MTD策略优化方法进行分析，针对目前研究对多层次多变化参数结合的MTD策略优化问题，根据MTD技术基本原理给出了变化参数对系统的影响，建立了系统正常服务与重配置过程模型；通过引入马尔可夫决策过程，提出了基于MDP的MTD策略优化模型，在设计回报函数时综合考虑系统的安全性和可用性；针对多层次多变化参数场景下系统状态空间爆炸问题，采用Q⁃learning算法在多项式时间内生成了优化策略；采用本文提出的策略优化模型，以典型的信息系统拓扑为案例，对其变化策略进行了优化，得到了优化策略，并分析了其结果的有效性和不足。下一步将引入部分可观测马尔可夫决策过程，并考虑攻击者的智能性，从而将博弈论等方法引入策略优化模型，进一步对动态目标防御的策略选择进行研究。

参考文献

[1] NITRD C. IWG： Cybersecurity game-change research and development recommendations [EB/OL]. [2010-05-13].

[2] JAJODIA S, GHOSH A K, SWARUP V, et al. Moving Target Defense [M]. New York: Springer, 2011: 99-108.

[3] JAJODIA S, GHOSH A K, SWARUP V, et al. Moving Target Defense Ⅱ: Application of Game Theory and Adversarial Modeling [M]. New York: Springer, 2012.

[4] 蔡桂林, 王宝生, 王天佐,等. 移动目标防御技术研究进展[J]. 计算机研究与发展, 2016, 53(5):968-987. DOI: 10.7544/issn1000-1239.2016.20150225 .

[5] CAI G L, WANG B S, WANG T Z, et al. Research and development of moving target defense[J]. Journal of Computer Research and Development, 2016, 53(5):968-987. DOI:10.7544/issn1000-1239.2016.20150225(Ch).

[6] AL-SHAER E, DUAN Q, JAFARIAN J H. Random host mutation for moving target defense [C]// Proceeding of SecureComm 2012: Security and Privacy in Communication Networks. Berlin： Springer, 2012:310-327.

[7] BADISHI G, HERZBERG A, KEIDAR I. Keeping denial-of-service attackers in the dark[J]. IEEE Transactions on Dependable & Secure Computing, 2005, 4(3):191-204.

[8] ATIGHETCHI M, PAL P, WEBBER F, et al. Adaptive use of network-centric mechanisms in cyber-defense[C]// IEEE International Symposium on Object-Oriented Real⁃Time Distributed Computing. New York: IEEE Press, 2003:183.

[9] OKHRAVI H, COMELLA A, ROBINSON E, et al. Creating a cyber moving target for critical infrastructure applications [J]. International Journal of Critical Infrastructure Protection, 2012, 5(1):30-39.

[10] PENG W, LI F, HUANG C T, et al. A moving-target defense strategy for cloud-based services with heterogeneous and dynamic attack surfaces[C]// IEEE International Conference on Communications. New York: IEEE Press, 2014:804-809.

[11] KC G S, KEROMYTIS A D, PREVELAKIS V. Countering code-injection attacks with instruction-set randomization[C]//ACM Conference on Computer and Communications Security. New York:ACM, 2003:272-280.

[12] PAPPAS V, POLYCHRONAKIS M, KEROMYTIS A D. Practical software diversification using in-place code randomization[C]//Moving Target Defense Ⅱ. New York: Springer, 2013:175-202.

[13] NGUYEN-TUONG A, EVANS D, KNIGHT J C, et al. Security through redundant data diversity[C]// IEEE International Conference on Dependable Systems and Networks with FTCS and DCC. New York: IEEE Press, 2008:187-196.

[14] OKHRAVI H, HOBSON T, BIGELOW D, et al. Finding focus in the blur of moving-target techniques[J]. IEEE Security & Privacy, 2013, 12(2):1.

[15] ABDELRAHMAN E, SAAD W， NIYATO D. Single controller stochastic games for optimized moving target defense[C]// 2016 IEEE International Conference on Communications. New York: IEEE Press， 2016: 1-6.

[16] SENGUPTA S, VADLAMUDI S G, KAMBHAMPATI S, et al. A game-theoretic approach to strategy generation for moving target defense in web applications[C]// International Conference on Autonomous Agents and Multiagent Systems (AAMAS). New York:ACM, 2017: 178-186.

[17] LEI C, MA D H, ZHANG H Q. Optimal strategy selection for moving target defense based on Markov game [J]. IEEE Access, 2017,5(1): 156-169.

[18] LEI C, ZHANG H Q, WANG L M, et al. Incomplete information Markov game theoretic approach to strategy generation for moving target defense [J]. Computer Communications, 2018, 116(1):184-199.

[19] TEREFE M B, LEE H, HEO N, et al. Energy-efficient multisite offloading policy using Markov decision process for mobile cloud computing[J]. Pervasive & Mobile Computing, 2016, 27(3):75-89.

[20] 熊鑫立, 赵光胜, 徐伟光, 等. 基于系统攻击面的动态目标防御有效性评估方法[J]. 清华大学学报（自然科学版）, 2019, 59(4): 276-283.

[21] XIONG X L, ZHAO G S, XU W G, et al. System attack surface based MTD effectiveness assessment model[J]. Journal of Tsinghua University (Science & Technology), 2019, 59(4):276-283 (Ch).

[22] HAUSKNECHT M, STONE P. Deep recurrent Q-learning for partially observable MDPS[DB/OL].[2019-09-02].

[23] XIONG X L, LI K C, ZHAO G S. The evaluation of performance cost for network based moving target defense[J] Journal of Physics Conference Series, 2019:1303(012109).

[24] XIONG X L, YANG L, ZHAO G S. Effectiveness evaluation model of moving target defense based on system attack surface[J]. IEEE Access, 2019,7(1):9998-10014. DOI: 10.1109/ACCESS.2019.2891613 .