无人机辅助智能交通系统中面向视频多播的资源优化

Resource Optimization for Video Multicast in Unmanned Aerial Vehicle Assisted Intelligent Transportation System

摘要

在智能交通系统（Intelligent Transportation System， ITS）中， 实时交通视频可以辅助网联车做出更理智的决策。然而， 由于车载传感器位置和数量的限制， 车辆无法全面掌握交通环境， 不利于行车安全； 此外， 当多个车辆用户请求相同的视频内容时， 传统的单播传输模式存在效率低下的问题。为了解决这些问题， 基于非正交多址接入（Non-Orthogonal Multiple Access， NOMA）和可伸缩视频编码（Scalable Video Coding， SVC）技术， 提出了一种无人机（Unmanned Aerial Vehicle， UAV）辅助ITS的交通视频多播方案。通过联合优化车辆分组和功率分配策略， 最大化车辆接收的长期视频质量。将该优化问题建模为一个马尔可夫决策过程（Markov Decision Process， MDP）， 并采用Soft Actor-Critic（SAC）算法来求解。大量仿真结果表明， 该算法具有很强的探索能力， 而且收益性能优于传统Actor-Critic（AC）算法。

Abstract

In Intelligent Transportation System（ITS）， real-time traffic video can be used to assist Connected Autonomous Vehicles（CAVs） to make more sensible decisions. However， due to the limitation of locations and qualities of the onboard sensors， CAVs cannot observe the full traffic situations. In addition， when vehicle users subscribe to the same video content simultaneously， traditional unicast transmission mode is spectrum inefficient， especially for the traffic congestion scenario. In order to solve these problems， in this paper， we propose a traffic video multicasting scheme based on Non-Orthogonal Multiple Access （NOMA） and Scalable Video Coding（SVC） for Unmanned Aerial Vehicle（UAV） enabled ITS. We aim to maximize the long-term video quality received by vehicles by jointly optimizing the vehicle grouping and power allocation strategies. We model the problem as a Markov Decision Process （MDP） and leverage Soft Actor-Critic（SAC） algorithm to solve the MDP. Extensive simulation results indicate that the proposed algorithm has a strong exploration ability， and outperforms the traditional Actor-Critic （AC） algorithm in terms of the reward performance.

Graphical abstract

关键词

交通视频多播 / 可伸缩视频编码 / 非正交多址接入 / Soft Actor-Critic

Key words

traffic video multicasting / scalable video coding / non-orthogonal multiple access / soft actor-critic

0 引 言

实时、 准确和全面的交通信息对于网联车辆（Connected Autonomous Vehicles， CAVs）的驾驶安全问题至关重要^［1］。作为未来智能交通系统（Intelligent Transport Systems， ITS）的关键组成部分， CAVs采用传统方法如摄像头、 激光雷达、 GPS等收集交通数据^［2，3］。尽管这些方法可以及时感知有用的数据， 但受到传感设备的位置、 数量和质量的限制， CAVs无法完全观察到交通状况， 这极大地增加了CAVs行驶的危险性。而无人机上的高清摄像头捕捉到的交通全局视角可以传递给CAVs， 以帮助其做出更明智的决策^［4］。此外当同一区域内的车辆请求相同的视频内容时， 传统的单播传输模式存在效率低下的问题。多播作为一种有效的解决方案^［5］， 可以利用有限的频谱资源为更多车辆提供数据/视频应用。然而， 为保证在多播组中车辆都能正确接收/解码视频内容， 信道质量最差的车辆（例如， 区域边缘车辆）会导致多播速率的瓶颈^［6］。

可伸缩视频编码（Scalable Video Coding， SVC）集成到无线视频多播中， 可以减少信道质量最差的车辆带来的瓶颈效应^［7］。使用SVC， 将视频流编码为一个基础层和多个增强层， 接收端必须准确解码基础层信息才可以重建视频^［8］。然而， 现有的SVC多播方案多采用正交频分多址接入（Orthogonal Frequency Division Multiple Access， OFDMA）技术， 需占用大量频谱资源， 不适用交通繁忙的密集场景^［9，10］。

非正交多址接入（Non-Orthogonal Multiple Access， NOMA）通过功率复用可以在同一信道上为多个用户提供服务， 进而提高频谱利用率^［11］。DING等^［12］验证了由于用户信道不对称性， NOMA比OMA显著提高频谱效率并缓解传输延迟。DING等^［13］提出当用户经历不同的信道质量时， NOMA实现的小区边缘吞吐量和频谱效率优于OMA。CHINGOSKA等^［14］提出用于无线供电通信网络上行链路的NOMA， 并与OMA相比扩大了上行链路的可实现速率区域。

同时学术界和工业界对多播业务资源分配的方法也展开广泛研究。TAN等^［15］提出了一种DASH（Dynamic Adaptive Streaming over HTTP）多播方案， 通过分组算法和自适应码率算法以提高用户体验质量。UL ZUHRA等^［16］针对LTE（Long Term Evolution）组播传输的分组和资源分配问题， 设计了一个模拟退火算法。然而， 以上算法主要是针对静态结构问题， 对于动态结构问题效果不佳。深度强化学习通过智能体与环境不断交互学习到最优策略， 在求解动态结构问题时速度更快， 效率更高^{［17，18］}。

因此， 本文提出了一种UAV辅助ITS中基于SAC（Soft Actor-Critic）算法的NOMA-SVC多播业务的资源优化研究方案。通过联合优化车辆分组和功率分配策略， 最大限度地提高了车辆接收的长期视频质量。SAC是基于熵最大化的算法， 具有比传统AC（Actor-Critic）算法更强的探索能力。

1 系统架构

图 1 考虑了UAV辅助ITS场景。其中配备高清摄像头和通信模块的UAV在道路正上方悬停， 为覆盖范围内车辆提供实时交通多播服务。路边单元（Road Side Unit， RSU）沿道路部署， 可为UAV提供计算服务。

1.1 SVC模型

UAV拍摄的交通视频由SVC编码器编码， 其中视频流由一系列视频序列组成， 每个序列的持续时间为{\Delta }_t s， 让\mathit{𝒯}=\left\{\mathrm{1},\cdots ,t,\cdots ,T\right\}表示时隙集。在SVC标准中， 将视频序列编码成一组图片（Group of Pictures， GOP）， 每个GOP包含I层： 一个基本层（BL）和（I-1）个增强层（EL）。BL层能够自我解码， 并且可以将多个EL数据附加到BL层上以提高视频质量， 即具有更多EL的视频意味着更高的视频质量。相应地， 规定SVC视频流的视频质量划分为I级。

1.2 用户分组模型

假设V=\left\{\mathrm{1,2},\cdots ,v\right\}车辆在时隙t请求交通流视频服务， q_v^t=\left(x_v^t,y_v^t,\mathrm{0}\right)表示车辆v在时隙t的道路坐标， q_u=\left(x_u,y_u,H\right)表示UAV的悬停坐标。因此， 可以计算UAV和车辆v之间的距离

d_{v,\mathrm{u}}^t=\sqrt[]{{\left(x_v^t-x_u\right)}^{\mathrm{2}}+{\left(y_v^t-y_u\right)}^{\mathrm{2}}+H^{\mathrm{2}}},\forall v\in V\mathrm{。}（1）

UAV-to-Vehicle（U2V）无线信道遵循自由空间路径损耗数学模型， 因此， 在时隙t信道增益表示为

h_{v,u}^t={\zeta }_{\mathrm{0}}{\left(d_v^t\left(q_u\right)\right)}^{-\mathrm{2}},\forall v\in V,（2）

式中： {\zeta }_{\mathrm{0}}是参考距离1 m处的信道增益。设\mathit{𝒢}=\left\{G_i|i\in \mathit{ℐ}\right\}表示分组的集合， \mathit{ℐ}=\left\{\mathrm{1,2},\cdots ,I\right\}。并且G_i组中的车辆可以接收和解码相同质量的视频。C=\left\{c_{i,v}^t\in \left\{\mathrm{0,1}\right\}|\mathrm{1}\le v\le V,\mathrm{1}\le i\le I\right\}表示在时隙t车辆关联策略， 其中c_{i,v}^t=\mathrm{1}表示车辆v分配到组G_i， 否则c_{i,v}^t=\mathrm{0}。由于车辆可能会接收多层数据， 因此， 车辆将相应地分到多个组。图 2 是车辆分组图的示例， 其中具有高信道质量的车辆v_{\mathrm{6}}， v_{\mathrm{7}}与G_{\mathrm{1}}， G_{\mathrm{2}}和G_{\mathrm{3}}相关联， 可以分别在同一时间段接收/解码BL， EL1和EL2数据， 并且这些不同的层组合在一起， 以生成车辆的最终视频流。另一方面， 信道质量较恶劣的车辆v_{\mathrm{2}}， v_{\mathrm{3}}与G_{\mathrm{1}}进行唯一关联， 车辆仅接收/解码BL数据。而信道质量极其恶劣的车辆v_{\mathrm{1}}需要抛弃， 以保证其他车辆接收视频的质量。因此c_{i,v}^t应满足以下条件

c_{i,v}^t\in \left\{\mathrm{0,1}\right\},\forall i\in \mathit{ℐ},v\in V,（3）

\mathrm{0}\le {\displaystyle \sum _{i=\mathrm{1}}^I}{c}_{i,v}^t\le I,\forall i\in \mathit{ℐ},v\in V\mathrm{。}（4）

1.3 NOMA⁃SVC发送模型

设\mathit{𝒩}=\left\{N_i|i\in \mathit{ℐ}\right\}表示NOMA层集合， \mathit{ℐ}=\left\{\mathrm{1,2},\cdots ,I\right\}。图 3 是NOMA-SVC发送器框图示例。规定BL通过第一NOMA层即N_{\mathrm{1}}中的信号X_{\mathrm{1}}传输； 同时EL1通过N_{\mathrm{2}}中的信号X_{\mathrm{2}}传输； EL2通过N_{\mathrm{3}}中的信号X_{\mathrm{3}}传输， 以此类推， 且这些信号是同时传输的， X_i的传输功率在时隙t将分配P_i^t=P_{\mathrm{u}}\cdot {\beta }_i^t， 其中\mathrm{0}\le {\beta }_i^t\le \mathrm{1}表示功率比， P_{\mathrm{u}}为UAV传输功率。满足以下条件

{\beta }_{\mathrm{1}}^t>{\beta }_{\mathrm{2}}^t>{\beta }_{\mathrm{3}}^t,{\displaystyle \sum _{i=\mathrm{1}}^I}{\beta }_i^t=\mathrm{1}\mathrm{。}（5）

值得注意的是， 组G_i与第i NOMA层即N_i匹配， 这意味着组G_i中车辆的最差信道质量将用作N_i的信道增益， 即g_i^t=\mathrm{m}\mathrm{i}\mathrm{n}\left\{h_{v,u}^t,v\in G_i\right\}。根据NOMA原理， 在时隙t由UAV多播的叠加传输信号表示为

X^t={\displaystyle \sum _{i=\mathrm{1}}^I}{X}_i\sqrt[]{P_{\mathrm{u}}{\beta }_i^t}\mathrm{。}（6）

1.4 NOMA-SVC接收模型

组G_i中车辆在时隙t的接收信号可以表示为

Y_i^t=g_i^t\cdot \left({\displaystyle \sum _{i=\mathrm{1}}^I}{X}_i\sqrt[]{P_{\mathrm{u}}{\beta }_i^t}\right)+\varpi ,（7）

式中： \varpi是信道自然噪声。在接收器处， 进行连续干扰消除。与具有较恶劣信道质量的组（例如G_{\mathrm{1}}）相比， 具有高信道质量的组（例如G_{\mathrm{3}}）可以接收/解码更多视频层， 并实现高视频质量。由于同一组中的车辆需要解码相同的信息， 因此， 只存在组间干扰， 而不考虑组内干扰。

图 4 是NOMA-SVC接收器框图示例。连续干扰消除解码过程可以描述为G_{\mathrm{1}}中车辆解码高功率信号X_{\mathrm{1}}时， 将信号X_{\mathrm{2}}和X_{\mathrm{3}}视为噪声/干扰。G_{\mathrm{2}}中车辆在解码信号X_{\mathrm{2}}之前， 首先用连续干扰消除解码信号X_{\mathrm{1}}， 并从接收到的叠加信号中删除X_{\mathrm{1}}。G_{\mathrm{3}}中车辆在解码信号X_{\mathrm{3}}之前删除信号X_{\mathrm{1}}和X_{\mathrm{2}}。

在不丧失通用性的情况下， G_j\left(j>i\right)可以连续地解码信号X_i， 并将其从接收信号中移除。连续干扰消除解码过程按从基本层到增强层的升序排列。通常， 接近UAV的车辆具有更好的信干噪比（SINR）。在这种情况下， 他们可以接收/解码更多的视频层并获得更高的视频质量。

G_i在时隙t的SINR由组内最差信道质量的车辆决定

（8）

根据， 由于^［19］， 使用香农容量来计算时隙t解码信号X_i时G_i实现的最小下载速率

R_{i,i}^t\left({\beta }_i^t,c_{i,v}^t\right)=B\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{2}}\left(\mathrm{1}+SIN{R}_i^t\right)（9）

式中： B是所有组的可用带宽。定义了指标e_i^t， 从物理层的角度显示时隙t时G_i中车辆接收视频层的有效性

e_i^t\left({\beta }_i^t,c_{i,v}^t\right)=\left\{\begin{array}{cc}\mathrm{1},& \mathrm{i}\mathrm{f}{R}_{i,i}^t\left({\beta }_i^t,c_{i,v}^t\right)\ge R_{min}^i,\\ \mathrm{0},& \mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\mathrm{。}\end{array}\right.（10）

当R_{i,i}^t大于用R_{\mathrm{m}\mathrm{i}\mathrm{n}}^i表示的GOP视频层的总和速率时， e_i^t=\mathrm{1}， 这意味着G_i内车辆可以正确接收/解码信号X_i， 否则e_i^t=\mathrm{0}。注意R_{j,j}^t>R_{i,i}^t\ge R_{\mathrm{m}\mathrm{i}\mathrm{n}}^i有， 这意味着G_j\left(j>i\right)可以正确解码和去除信号X_i。

SVC视频解码过程需要连续的视频层， 即当第I层视频可以正确解码仅是因为基本层到I-1层已成功接收/解码。G_i在时隙t已正确解码的视频层的数量可以表示为

{\mathrm{ℒ}}_i^t={\displaystyle \sum _{i=\mathrm{1}}^i}{\displaystyle \prod _{i=\mathrm{1}}^i}{e}_i^t\mathrm{。}（11）

1.5 QoE模型和效用函数

在本文中， QoE衡量车辆用户对视频质量的满意度。由于同一组中的车辆具有类似的信道质量， 他们可以实现相同的视频质量， 并具有类似的QoE要求。用户体验遵循对数定律， QoE函数可以以对数形式建模， 用于网页浏览和视频下载应用。因此， 在每个时隙t， G_i中车辆QoE可以定义为{\mathrm{ℒ}}_i^t的对数函数

{\mathit{𝒬}}_i^t({\mathrm{ℒ}}_i^t)=\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{2}}\left(\mathrm{1}+\frac{{\mathrm{ℒ}}_i^t}{\mathrm{ℒ}}\right)\cdot {\displaystyle \prod _{i=\mathrm{1}}^i}{e}_i^t\mathrm{。}（12）

如果G_i对所有可用视频层进行解码， 则其最大值为1， 即{\mathrm{ℒ}}_i^t=\mathrm{ℒ}。用{\Omega }^t表示第t个时隙所有组内车辆的总体效用

{\Omega }^t({\beta }_i^t,c_{i,v}^t)={\displaystyle \sum _{i=\mathrm{1}}^I}{\displaystyle \sum _{v=\mathrm{1}}^V}{c}_{i,v}^t{\omega }_i{\mathit{𝒬}}_i^t（13）

式中： {\omega }_i是第i个NOMA层即N_i数据的价格系数， 可以在视频层选择方面平衡公平性和效率。

1.6 问题表述

通过联合优化车辆关联策略c_{i,v}^t和功率分配策略{\beta }_i^t， 使所有车辆接收的长期视频质量最大化。本文的问题表述为

\underset{{\beta }_i^t,c_{i,v}^t}{\mathrm{m}\mathrm{a}\mathrm{x}}:{\displaystyle \sum _{t=\mathrm{1}}^T}{\displaystyle \sum _{i=\mathrm{1}}^I}{\displaystyle \sum _{v=\mathrm{1}}^V}{c}_{i,v}^t{\omega }_i{\mathit{𝒬}}_i^t,（14）

\mathrm{s}\mathrm{u}\mathrm{b}\mathrm{j}\mathrm{e}\mathrm{c}\mathrm{t}\mathrm{t}\mathrm{o}.c_{i,v}^t\in \left\{\mathrm{0,1}\right\},\forall i\in \mathrm{ℐ},v\in V,（14（a））

\mathrm{0}\le {\displaystyle \sum _{i=\mathrm{1}}^I}{c}_{i,v}^t\le I,\forall i\in \mathrm{ℐ},v\in V,（14（b））

{\beta }_{\mathrm{1}}^t>{\beta }_{\mathrm{2}}^t>{\beta }_{\mathrm{3}}^t,{\displaystyle \sum _{i=\mathrm{1}}^I}{\beta }_i^t=\mathrm{1},（14（c））

式中： {\omega }_i({\omega }_i\ge \mathrm{0})(\mathrm{\$}/\mathrm{v}\mathrm{e}\mathrm{h}\mathrm{i}\mathrm{c}\mathrm{l}\mathrm{e})是第i个NOMA层即N_i数据的价格系数。式（14（a））表示时隙t时车辆v是否分配到G_i， 式（14（b））表示时隙t时车辆v允许分配到多个组中但最大不超过I。式（14（c））表示时隙t时功率分配策略。

问题式（14）是一个长期优化问题， 需要随着时间的推移依次做出一系列决策。传统的方法， 如静态优化和博弈论无力处理该问题， 它们试图根据当前状态搜索最优/次优解， 以最大限度地提高即时回报^［20］。基于上述观察， 将问题式（14）建模为马尔可夫决策过程（MDP）。将MDP用一个元组表示： 〈S,A,P,r〉， 每个元素具体描述如下：

S是环境的状态空间。包括： 第t个时隙开始时的车辆坐标q_v^t=\left(x_v^t,y_v^t,\mathrm{0}\right)。

A是环境的动作空间。包括： 车辆关联策略c_{i,v}^t和功率分配策略{\beta }_i^t。

P是状态转移概率函数。具体而言， 车辆在下一个时隙的坐标由车辆的当前位置、 速度和加速度决定。

r是即时奖励函数。定义为： r={\displaystyle \sum _{i=\mathrm{1}}^I}{\displaystyle \sum _{v=\mathrm{1}}^V}{c}_{i,v}^t{\omega }_i{\mathrm{𝒬}}_i^t。

之后， 采用深度强化学习算法， 即Soft Actor-Critic（SAC）来求解上述MDP问题。

2 基于Soft Actor-Critic的算法设计

2.1 Soft值函数

与现有的强化学习算法的不同之处在于， 算法中加入了熵项H(\pi (a\left|s\right.))=-\mathrm{l}\mathrm{o}\mathrm{g}\pi (a\left|s\right.)， 增加了策略的探索性， 从而加快了学习速度， 并且避免了策略过早收敛到局部最优值。其中策略\pi (a\left|s\right.)称为期望熵， 表示为

J(\mathrm{\pi })=E\left\{{\displaystyle \sum _{t=\mathrm{0}}^{\mathrm{\infty }}}{\gamma }^t[r_t-\lambda \mathrm{l}\mathrm{o}\mathrm{g}\pi (a_t\left|s_t\right.)]\left|\pi \right.\right\},（15）

式中： \gamma为折扣因子； \lambda是温度参数。熵期望表示为

\begin{array}{c}{Q}^{\mathrm{\pi }}(s,a)=E\left\{{\displaystyle \sum _{t=\mathrm{0}}^{\mathrm{\infty }}}{\gamma }^t[r_t-\lambda \mathrm{l}\mathrm{o}\mathrm{g}\pi (a_t{\left|s\right.}_t)]\right.\\ \left.\left|s_{\mathrm{0}}=s,a_{\mathrm{0}}=a,\pi \right.\right\}\mathrm{。}\end{array}（16）

定理1 根据Q值函数可以求出状态值函数

V^{\mathrm{\pi }}(s)=\lambda \mathrm{l}\mathrm{o}\mathrm{g}{\int }_{A}exp(\frac{\mathrm{1}}{\lambda }{Q}^{\pi }(s,a))da\mathrm{。}（17）

对应的最优策略为

{\pi }^{\mathrm{\text{'}}}(\cdot \left|s\right.)=\mathrm{e}\mathrm{x}\mathrm{p}\left(\frac{\mathrm{1}}{\lambda }{Q}^{\pi }(s,a)-V^{\pi }(s)\right),（18）

式中： Q值函数和状态值函数在SAC算法中分别对应的是soft Q值函数和soft状态值函数。

2.2 Critic部分

Q值函数Q和状态值函数V由深度神经网络（Deep Neural Networks， DNN）来拟合。通过采用一组权重为\theta =\left\{{\theta }_{\mathrm{1}},{\theta }_{\mathrm{2}},\cdot \cdot \cdot {\theta }_N\right\}的DNN来使得Soft Q值参数化， 即Q(s,a)\approx Q_{\theta }(s,a)。DNN通过从经验池中随机采样(s,a,r,s^{\mathrm{\text{'}}})， 然后更新参数\theta。软Q值函数由均方误差（Mean Square Error， MSE）表示为

L(\theta )=E\left[\frac{\mathrm{1}}{\mathrm{2}}(Q_{\theta }(s,a)-\widehat{Q}{(s,a))}^{\mathrm{2}}\right],（19）

式中， \widehat{Q}(s,a)满足\stackrel{\wedge }{Q}(s,a)=r+\gamma {\widehat{V}}_{\widehat{\theta }}(s^{\mathrm{\text{'}}})， 而{\widehat{V}}_{\widehat{\theta }}(s^{\mathrm{\text{'}}})是目标状态值。参数\theta表示为

\theta (t+\mathrm{1})\leftarrow \theta (t)-{\alpha }_{c,t}{\nabla }_{\theta }L(\theta ),（20）

式中： {\alpha }_{c,t}>\mathrm{0}是critic部分的学习率； {\nabla }_{\theta }L(\theta )是L(\theta )的梯度， 表示为

{\nabla }_{\theta }L(\theta )={\nabla }_{\theta }{Q}_{\theta }(s,a)[Q_{\theta }(s,a)-r-\gamma {\widehat{V}}_{\widehat{\theta }}(s^{\mathrm{\text{'}}})]\mathrm{。}（21）

SAC算法采用一组权重为\vartheta =\left\{{\vartheta }_{\mathrm{1}},{\vartheta }_{\mathrm{2}},\cdots ,{\vartheta }_N\right\}的DNN来近似状态值函数， 即V(s)=V_{\vartheta }(s)。软V值函数由均方误差MSE表示为

L(\vartheta )=E\left[\frac{\mathrm{1}}{\mathrm{2}}{V}_{\vartheta }(s)-E[Q_{\theta }(s,a)-\lambda \mathrm{l}\mathrm{o}\mathrm{g}{\mathrm{\pi }}_{\phi }{(a\left|s\right.)])}^{\mathrm{2}}\right]\mathrm{。}（22）

对应的L(\vartheta )梯度和参数\vartheta的更新为

{\nabla }_{\vartheta }L(\vartheta )={\nabla }_{\vartheta }{V}_{\vartheta }(s)[V_{\vartheta }(s)-[Q_{\theta }(s,a)-\lambda \mathrm{l}\mathrm{o}\mathrm{g}{\pi }_{\phi }(a\left|s\right.)]],（23）

\vartheta (t+\mathrm{1})\leftarrow \vartheta (t)-{\alpha }_{c,t}{\nabla }_{\vartheta }L(\vartheta )\mathrm{。}（24）

相应的目标状态值函数{\widehat{V}}_{\widehat{\theta }}(s^{\mathrm{\text{'}}})的参数是\vartheta =\left\{{\vartheta }_{\mathrm{1}},{\vartheta }_{\mathrm{2}},\cdots ,{\vartheta }_N\right\}。参数\widehat{\vartheta }的更新为

\widehat{\vartheta }(t+\mathrm{1})\leftarrow k\vartheta (t)+(\mathrm{1}-k)\widehat{\vartheta }(t),（25）

式中： k是平滑因子， 满足。

2.3 Actor部分

Actor网络采用参数为\phi的DNN深度神经网络来表示参数化策略{\mathrm{\pi }}_{\phi }\left(\cdot \left|s\right.\right)。不同于其他算法的是， SAC算法是通过Actor网络来输出含有平均值和标准差的高斯分布， 使用KL散度来最小化下面的期望值， 从而获得最优的策略

L(\phi )=E(D_{KL}{\pi }_{\phi }(\cdot \left|s\right.)‖{\pi }^{\mathrm{\text{'}}}(\cdot \left|s\right.))\mathrm{。}（26）

本文通过随机神经网络变换来重新参数化策略， 即a=g_{\phi }({\tau }^{\mathrm{\text{'}}},s)， 其中\mathit{\tau }是从标准正态分布采样的动作噪声向量.则

\begin{array}{c}L(\phi )=E[\lambda \mathrm{l}\mathrm{o}\mathrm{g}{\pi }_{\phi }(g_{\phi }({\tau }_{,}^{\cdot }s)\left|s\right.)-\\ Q^{\pi }(s,g_{\phi }({\tau }_{,}^{\cdot }s))+V^{\pi }(s)]\mathrm{。}\end{array}（27）

梯度\phi表示为

{\nabla }_{\phi }L(\phi )={\nabla }_{\phi }\lambda \mathrm{l}\mathrm{o}\mathrm{g}{\pi }_{\phi }(a\left|s\right.)+{\nabla }_a\lambda \mathrm{l}\mathrm{o}\mathrm{g}{\pi }_{\phi }(a\left|s\right.)-{\nabla }_a{Q}_{\theta }(s,a)){\nabla }_{\phi }{g}_{\phi }(\tau ;s)\mathrm{。}（28）

在梯度下降的方向上更新策略参数\phi， 表示为

\phi (t+\mathrm{1})\leftarrow \phi (t)-{\alpha }_{a,t}{\nabla }_{\pi }L(\phi ),（29）

式中： {\alpha }_{a,t}>\mathrm{0}， 表示actor的学习率。

定理2 SAC算法通过交替进行策略评估（Critic）和策略改进（Actor）， 从而达到收敛。即对于任意的\forall \mathrm{\pi },{\mathrm{\pi }}^{\mathrm{*}}\in \mathrm{\Pi }({\mathrm{\pi }}^{\mathrm{*}}\ne \mathrm{\pi })， 和\forall (s,a)\in S\times A， 满足Q^{{\mathrm{\pi }}^{\mathrm{*}}}(s,a)>Q^{\pi }(s,a)， \forall \mathrm{\pi }\in \mathrm{\Pi }收敛到策略{\pi }^{\mathrm{*}}(\cdot \left|s\right.)。

2.4 Soft actor⁃critic算法

图 5 为soft actor-critic算法的体系结构， 其中包含了3个部分： actor网络、 critic网络和记忆存储器（replay memory）。actor网络将状态映射到动作， critic 网络则负责估计状态和状态-动作对的值， 而记忆存储器则用于存储经验。actor 使用参数化的深度神经网络近似策略{\pi }_{\phi }(\cdot \left|s\right.)， 并根据当前环境的状态s选择并执行动作a。当接收到奖励r和观察到下一个状态s^{\mathrm{\text{'}}}之后， 将元组(s,a,r,s^{\mathrm{\text{'}}})存储在记忆存储器中。为了避免不同样本之间的相关性， critic会从记忆存储器中随机采样经验， 并分别用来训练状态值网络和Q值网络。通过随机梯度下降法， critic产生的损失函数L(\theta )和L(\phi )反向传播， 用来更新深度神经网络的参数， 同时用V_{\vartheta }(s)和Q_{\theta }(s,a)更新actor的参数。学习过程交替进行在以下两方面： 一是使用当前策略从环境中收集经验， 二是根据从记忆存储器中采样的批次更新函数逼近器的参数， 直到时间结束或达到最终状态^［21］。该算法的学习率满足

（30）

（31）

3 仿真结果分析

本节给出了所提算法的仿真结果。仿真在基于Python的模拟器上实现， 其中软件环境为TensorFlow1.15.0， Python3.6.5。硬件环境为基于CPU的服务器， 具有8 GB 3 200 MHz DDR4， 3.0 GHz AMD Core R5 和512 G内存。

仿真中在200 m的城市道路上随机生成车辆， 并生成车辆轨迹。无人机部署在道路正上方， 用于捕获交通视频并将其多播给车辆， 悬停高度H从50~125 m不等， 无人机的传输功率P_{\mathrm{u}}设置为0.01~0.1 W^［22］， 带宽B=0.9 MHZ。每个时隙的长度{\Delta }_{\mathrm{t}}=\mathrm{1}\mathrm{s}。视频层的数量I=3。道路中央部署了一个RSU， 用于协助无人机训练策略。载波频率为5.9 GHz， 总带20 MHZ^［23］。学习参数设置为折扣因子\gamma =\mathrm{0.99}， 温度参数初始值\lambda =\mathrm{0.05}， 经验池大小200 000， 一次训练所选取样本数为256。学习率讨论如下：

图 6 显示了所提出算法不同Actor的学习率收敛性能。

其满足式（30）、 式（31）并且通过反复试验来设置。在仿真中， Critic的学习率固定为{\alpha }_{c,t}=\mathrm{8}\times {\mathrm{10}}^{-\mathrm{3}}。在图中较深的线表示平均值， 阴影区域表示平均值±标准误差， 反映了曲线的方差。从图 6 中可以观察到， 当{\alpha }_{a,t}=\mathrm{2}\times {\mathrm{10}}^{-\mathrm{3}}时所提算法有高方差和低奖励， 并且大约在300回合（每回合包含200步）后达到收敛。然而， 如果学习率下降到{\alpha }_{a,t}=\mathrm{3.5}\times {\mathrm{10}}^{-\mathrm{4}}时学习速度变慢。相比于{\alpha }_{a,t}=\mathrm{2}\times {\mathrm{10}}^{-\mathrm{3}}和{\alpha }_{a,t}=\mathrm{3.5}\times {\mathrm{10}}^{-\mathrm{4}}情况， {\alpha }_{a,t}=\mathrm{8}\times {\mathrm{10}}^{-\mathrm{4}}是最佳学习率， 在平均收益和方差方面表现优异。

图 7 显示了所提出算法当{\alpha }_{a,t}=\mathrm{8}\times {\mathrm{10}}^{-\mathrm{4}}的不同Critic的学习率收敛性能。可知 Critic的最佳学习率是{\alpha }_{c,t}=\mathrm{8}\times {\mathrm{10}}^{-\mathrm{3}}。当学习率下降到{\alpha }_{c,t}=\mathrm{1}\times {\mathrm{10}}^{-\mathrm{3}}时学习速度变慢， 学习率上升到{\alpha }_{c,t}=\mathrm{3}\times {\mathrm{10}}^{-\mathrm{2}}时有高方差和低奖励。因此， 在下面的仿真中， 学习率设置为{\alpha }_{a,t}=\mathrm{8}\times {\mathrm{10}}^{-\mathrm{4}}和 {\alpha }_{c,t}=\mathrm{8}\times {\mathrm{10}}^{-\mathrm{3}}。

图 8 显示了车辆占不同视频层的百分比。图 8（a） 作为基线， 此时所有的 价格系数 相等。从图中可以看出， 随着无人机传输功率的变大， 视频质量稳步增长。图 8（b）~图 8（e） 显示了当飞行高度H＝100 m时， 价格系数对视频质量的影响。对比图 8（a） 和图 8（b） 可知， 对于固定的无人机传输功率， 当 由0.5变成5时， 具有BL数据的车辆百分比明显增加， 而具有BL+EL1和BL+EL1+EL2数据的车辆的百分比明显降低。类似的现象也可以从图 8（c）、 图 8（d）和图 8（e）中观察到， N_i价格系数{\omega }_i增加将导致相应视频层的百分比增加。因此， 通过调整N_i价格系数{\omega }_i， 该算法可以在公平性和效率之间取得平衡， 这对于无人机辅助ITS中的交通多播服务尤为重要。图 8（f） 显示了当无人机发射功率为0.06 W， N_i价格系数{\omega }_i全为0.5时不同无人机高度下的车辆占不同视频层的百分比， 从图中可以看出， 当无人机高度从50 m上升到125 m时， 总体视频质量会稍微下降。这是因为较高的海拔导致较差的信道质量和较低的传输速率。

图 9 为本文算法与其他基准算法的性能对比。通过比较传统AC算法和无学习（Without learning）的方案， 可知本文算法平均回报值明显高于其他基准算法。主要是因为本文算法是基于熵最大化的， 具有比其他深度强化学习算法更好的探索能力， 能够快速稳定地获得更多的探索收益。

4 结 语

提出了一种非正交多址的可伸缩视频多播资源优化研究方案。通过联合优化车辆分组和功率分配策略， 最大限度地提高车辆接收的长期视频质量。其中无人机在空中悬停实时捕捉交通视频并多播传输至服务车辆。将该联合优化问题建模成马尔可夫决策过程。采用最先进的深度强化学习算法（SAC）来解决。仿真结果表明， 该算法比传统AC算法有更强的探索能力。

参考文献

[1] KUUTTI S， FALLAH S， KATSAROS K， et al.A survey of the state-of-the-art localization techniques and their potentials for autonomous vehicle applications［J］.IEEE Internet of Things Journal， 2018， 5（2）： 829-846.

[2] WANG L， YANG H， QI X， et al.ICast： Fine-grained wireless video streaming over Internet of intelligent vehicles［J］.IEEE Internet of Things Journal， 2018， 6（1）： 111-123.

[3] KHAN M A， ECTORS W， BELLEMANS T， et al.Unmanned aerial vehicle-based traffic analysis： Methodological framework for automated multivehicle trajectory extraction［J］.Transportation Research Record， 2017（1）： 25-33.

[4] MENOUAR H， GUVENC I， AKKAYA K， et al.UAV-enabled intelligent transportation systems for the smart city： applications and challenges［J］.IEEE Communications Magazine， 2017， 55（3）： 22-28.

[5] ARANITI G， CONDOLUCI M， SCOPELLITI P， et al.Multicasting over emerging 5G networks： challenges and perspectives［J］.IEEE Network， 2017， 31（2）： 80-89.

[6] AFOLABI R O， DADLANI A， KIM K.Multicast scheduling and resource allocation algorithms for OFDMA-based systems： a survey［J］.IEEE Communications Surveys & Tutorials， 2012， 15（1）： 240-254.

[7] CHOU Z T， LIN Y H.Energy-efficient scalable video multicasting for overlapping groups in a mobile WiMAX network［J］.IEEE Transactions on Vehicular Technology， 2015， 65（8）： 6403-6416.

[8] SHEN S H.Efficient SVC multicast streaming for video conferencing with SDN control［J］.IEEE Transactions on Network and Service Management， 2019， 16（2）： 403-416.

[9] YOON J， ZHANG H， BANERJEE S， et al.Video multicast with joint resource allocation and adaptive modulation and coding in 4G networks［J］.IEEE/ACM Transactions on Networking， 2013， 22（5）： 1531-1544.

[10] ZHOU H， JI Y， WANG X， et al.Joint resource allocation and user association for SVC multicast over heterogeneous cellular networks［J］.IEEE Transactions on Wireless Communications， 2015， 14（7）： 3673-3684.

[11] LIU X， LIN B， ZHOU M， et al.NOMA-based cognitive spectrum access for 5G-enabled internet of things［J］.IEEE Network， 2021， 35（5）： 290-297.

[12] DING Z， LEI X， KARAGIANNIDIS G K， et al.A survey on non-orthogonal multiple access for 5G networks： Research challenges and future trends［J］.IEEE Journal on Selected Areas in Communications， 2017， 35（10）： 2181-2195.

[13] DING Z， YANG Z， FAN P， et al.On the performance of non-orthogonal multiple access in 5G systems with randomly deployed users［J］.IEEE Signal Processing Letters， 2014， 21（12）： 1501-1505.

[14] CHINGOSKA H， HADZI-VELKOV Z， NIKOLOSKA I， et al.Resource allocation in wireless powered communication networks with non-orthogonal multiple access［J］.IEEE Wireless Communications Letters， 2016， 5（6）： 684-687.

[15] TAN X， XU L， ZHENG Q， et al.QoE-driven DASH multicast scheme for 5G mobile edge network［J］.Journal of Communications and Information Networks， 2021， 6（2）： 153-165.

[16] ZUHRA S UL， CHAPORKAR P， KARANDIKAR A.Toward optimal grouping and resource allocation for multicast streaming in LTE［J］.IEEE Transactions on Vehicular Technology， 2019， 68（12）： 12239-12255.

[17] LUO J， CHEN Q， TANG L， et al.Adaptive resource allocation considering power-consumption outage： a deep reinforcement learning approach［J］.IEEE Transactions on Vehicular Technology， 2023， 72（6）： 8111-8116.

[18] DU J， CHENG W， LU G， et al.Resource pricing and allocation in MEC enabled blockchain systems： an A3C deep reinforcement learning approach［J］.IEEE Transactions on Network Science and Engineering， 2021， 9（1）： 33-44.

[19] LEI L， YUAN D， HO C K， et al.Power and channel allocation for non-orthogonal multiple access in 5G systems： Tractability and computation［J］.IEEE Transactions on Wireless Communications， 2016， 15（12）： 8580-8594.

[20] ZHANG Z， ZHANG Q， MIAO J， et al.Energy-efficient secure video streaming in UAV-enabled wireless networks： a safe-DQN approach［J］.IEEE Transactions on Green Communications and Networking， 2021， 5（4）： 1892-1905.

[21] 康云鹏.车联网中基于视频业务的资源分配研究［D］.太原： 山西大学， 2020.

[22] 王钰宁， 刘晓霞， 胡云冰.基于能效感知的无人机协助的视频数据传输［J］.弹箭与制导学报， 2021， 41（6）： 7-11.

[23] WANG Yuning， LIU Xiaoxia， HU Yunbing.Energy efficiency awareness-based unmanned aerial vehicles-assisted video data transmission［J］.Journal of Projectiles， Rockets， Missiles and Guidance， 2021， 41（6）： 7-11.（in Chinese）

[24] ZHANG L， ANSARI N.Latency-aware IoT service provisioning in UAV-aided mobile-edge computing networks［J］.IEEE Internet of Things Journal， 2020， 7（10）： 10573-10580.

基金资助

山西省基础研究计划自然科学研究面上资助项目(202103021224024)

山西省基础研究计划青年科学研究资助项目(20210302123021)

山西省重点研发计划资助项目(202202020101004)