基于卷积循环神经网络的短波时变信道盲均衡算法

Short-Wave Time-Varying Channel Blind Equalization Algorithm Based on Convolutional Recurrent Neural Network

摘要

针对短波时变信道码间干扰严重、误符号率高等问题，采用卷积循环神经网络（convolutional recurrent neural network， CRNN），即将卷积神经网络（convolutional neural network， CNN）和循环神经网络（recurrent neural network， RNN）相结合，提出一种基于CRNN的短波时变信道盲均衡算法，设计了针对短波时变信道（瑞利平坦衰落信道和频率选择性衰落信道）的卷积循环神经网络盲均衡器 （convolution recurrent neural network blind equalizer， CRNNBE）。该盲均衡器基于CNN收敛速度快和RNN便于处理序列信号的特点，克服码间干扰问题，有效提高了通信质量。仿真实验结果表明：相比基于RNN与CNN的盲均衡器，训练完成后的CRNNBE准确率更高、交叉熵损失值更低，并且收敛速度明显高于RNN盲均衡器，模型在20次左右即可完成收敛；在短波时变信道中，整体而言，相比其他均衡器，在相同信噪比条件下，CRNNBE的误符号率最低，通信可靠性最高。

Abstract

Aiming at the problems of severe inter-symbol interference and high symbol error rate in short-wave time-varying channels, convolutional recurrent neural network （CRNN）, which combines convolutional neural network （CNN） and recurrent neural network （RNN）, is used as blind equalization algorithm for the short-wave time-varying channel. A CRNN blind equalizer (CRNNBE) is designed for short-wave time-varying channels (such as Rayleigh flat fading channels and frequency selective fading channels). The blind equalizer is based on the fast convergence speed of CNN and the ease of processing sequence signals by RNN, which overcomes the problem of inter-symbol interference and effectively improves the communication quality. The simulation experiment results show that compared with the blind equalizer based on RNN and CNN, the CRNNBE after training has higher accuracy, lower cross-entropy loss, and the convergence speed is significantly higher than that of the RNN blind equalizer. The model can complete convergence in about 20 times. In the short-wave time-varying channel, as a whole, compared with other equalizers, under the same signal-to-noise ratio, CRNNBE has the lowest symbol error rate and the highest communication reliability.

Graphical abstract

关键词

信道均衡 / 短波时变信道 / 卷积神经网路 / 循环神经网络

Key words

channel equalization / short-wave time-varying channel / convolutional neural network (CNN) / recurrent neural network (RNN)

0　 引 言

短波信道的时变特性、多径效应、多普勒效应等会造成码间干扰（inter-symbol interference， ISI）和信道间干扰（inter-channel interference， ICI），降低通信的可靠性，严重影响数据传输质量。采用信道均衡器可以对信号的失真进行校正，减少或消除干扰，提升信号传输的质量^［1］。因此，均衡器的设计在短波通信中非常必要。传统自适应均衡器需要在发送信号前发送训练序列，以调整均衡器参数，但训练序列在传输数据中占比较高，严重影响通信效率。盲均衡器在不依赖训练序列的情况下，仅通过接收到的信号对均衡器参数进行调整，就能够对接收信号起到均衡效果^［1］。因此，对盲均衡算法的研究更为必要。

传统的盲均衡算法有基于高阶统计量的盲均衡算法^［2］、基于信号检测理论的盲均衡算法^［3］、Bussgang类盲均衡算法^［4］等。基于高阶统计量的盲均衡算法利用相位、幅度等信息对均衡器的参数进行调整，进而完成相应均衡任务。基于信号检测理论的盲均衡算法主要是将信号检测的理论应用于盲均衡算法中，可以利用最大似然估计、贝叶斯估计及最小错误概率准则对信道进行均衡。Bussgang类盲均衡算法中，常数模算法（constant modulus algorithm， CMA）^［5］通过构造并求解代价函数以获得最优均衡器参数，计算量少，极易实现，在均衡器设计中应用最为广泛。但传统的盲均衡算法在处理非线性问题上能力较差，神经网络技术的发展为信号均衡器设计提供了新的思路。与传统盲均衡器相比，基于神经网络的盲均衡算法^［6，7］，具有更好的非线性拟合能力、更优的容错性以及更强的自适应能力，具有较高的研究价值和应用前景。如2015年，Lavania等^［8］基于循环神经网络（recurrent neural network， RNN）设计了时序信号均衡器，并证明其均衡性能在实际场景测试中优于传统盲均衡器，但计算过程较为复杂。2019年，周超^［9］将反向传播（back propagation，BP）神经网络应用于高误符号率环境下的信道均衡算法中，证明BP神经网络盲均衡算法对码间干扰起到一定校正效果，但当干扰较强时，校正效果不能一直保持稳定。

为了解决传统神经网络盲均衡器运算复杂、不够稳定的问题，本文建立了基于卷积循环神经网络（convolutional recurrent neural network， CRNN）的盲均衡问题数学模型，分别对两种典型的短波时变信道（瑞利平坦衰落信道和频率选择性衰落信道）进行信道均衡器设计。卷积神经网络（convolutional neural network， CNN）具有提取特征能力强和收敛速度快的优点，RNN对时序信号的处理非常灵活，CRNN结合了两者的优点。因此，本文提出的基于CRNN的短波时变信道盲均衡算法有望获得较低的误符号率和较快的收敛速度。

1　 基于神经网络的信道盲均衡模型

图1为基于神经网络的信道盲均衡模型。假设图1中原始发送信号序列为s(n)，n为信号长度，信号调制后对应的符号集为Y，符号集中包含k类符号，种类数及各种类对应符号由调制方式决定。本文采用正交相移键控（quadrature phase shift keying， QPSK）调制方式，调制后产生4种符号（00，01，11，10）。s(n)通过无线信道，在神经网络盲均衡器接收端转换为长度为N的时延信号

\mathit{x}(n)=[x(n),x(n-\mathrm{1}),\cdot \cdot \cdot ,x{(n-N+\mathrm{1})]}^{\mathrm{T}}(1)

神经网络盲均衡器在正式处理信号前需要利用数据集对神经网络中的参数进行调整。本文中，盲均衡器的输入信号被分为测试集与训练集两部分，神经网络盲均衡器由训练集信号训练至收敛后，对测试集信号进行盲均衡。

神经网络盲均衡器将接收信号\mathit{x}(n)作为输入的特征样本，通过神经网络后，对输出特征样本所属的符号进行k分类。假设输出样本属于每一个符号的概率为

P_{Y|\mathit{X}=\mathit{x}}=P(Y=k|\mathit{X}=\mathit{x})(2)

通过判决预测\mathit{x}(n)的符号类别，经QPSK 解调还原发送序列。该过程为维度映射，完成N维特征到k维分类的映射。判决预测符号类别是基于逻辑回归分类方法。

传统的逻辑回归分类方法的数学表达式如下

f_{\mathit{w}}(\mathit{x})=\frac{\mathrm{1}}{\mathrm{1}+{\mathrm{e}}^{-{\mathit{w}}^{\mathrm{T}}\mathit{x}}}(3)

其中，f_{\mathit{w}}(\mathit{x})表示样本属于标签即符号类别的概率值，\mathit{x}为训练样本，\mathit{w}为模型参数。

本文采用Softmax回归模型进行分类，假设输入的样本\mathit{x}属于k种符号的概率为P_{Y|\mathit{X}=\mathit{x}}，构成逻辑回归表达式

f_{\mathit{w}}({\mathit{x}}_{\mathit{i}})=\left[\begin{array}{l}P(Y=\mathrm{1}|{\mathit{x}}_{\mathit{i}};\mathit{w})\\ P(Y=\mathrm{2}|{\mathit{x}}_{\mathit{i}};\mathit{w})\\ ⋮\\ P(Y=k|{\mathit{x}}_{\mathit{i}};\mathit{w})\end{array}\right]=\frac{\mathrm{1}}{{\displaystyle \sum _{j=\mathrm{1}}^k}{\mathrm{e}}^{{\mathit{w}}_j^{\mathrm{T}}{\mathit{x}}_i}}\left[\begin{array}{l}{\mathrm{e}}^{{\mathit{w}}_{\mathrm{1}}^{\mathrm{T}}{\mathit{x}}_{\mathit{i}}}\\ {\mathrm{e}}^{{\mathit{w}}_{\mathrm{2}}^{\mathrm{T}}{\mathit{x}}_{\mathit{i}}}\\ ⋮\\ {\mathrm{e}}^{{\mathit{w}}_k^{\mathrm{T}}{\mathit{x}}_{\mathit{i}}}\end{array}\right](4)

其中，\mathit{w}通常使用矩阵的形式表示

\mathit{w}=\left[\begin{array}{l}{\mathit{w}}_{\mathrm{1}}^{\mathrm{T}}\\ {\mathit{w}}_{\mathrm{2}}^{\mathrm{T}}\\ ⋮\\ {\mathit{w}}_k^{\mathrm{T}}\end{array}\right](5)

经计算得到样本信号属于各符号的概率值，根据最大概率判别样本所属类别。

2　 基于CRNN的短波时变信道盲均衡器

本文提出基于CRNN的短波时变信道盲均衡器，结合了CNN与RNN的优点，利用神经网络的训练与分类功能解决盲均衡问题。图2为本文所提出的基于CRNN的短波时变信道盲均衡器结构示意图。该均衡器主要由Fold层、卷积层、Unfold层、Flatten层、长短时记忆（long short term memory，LSTM）层、全连接层、Softmax层和分类层构成。

1） Fold层：Fold层主要进行数据预处理。由于序列数据不能直接输入卷积神经网络中，因此输入数据传输至卷积层前需要在Fold层通过序列展开操作，把序列输入信号转变为数组形式。通过Fold层处理后，卷积层就可以独立地在不同图片的time_steps上进行卷积操作，其中time_steps表示序列展开的长度。

2） 卷积层：卷积层是CNN的核心部分。卷积层通过卷积核对输入数据进行特征提取，卷积核相当于通信中的滤波器，是一个用于提取固定范围特征的矩形块，它在输入矩阵上从起点依次滑动计算相应卷积值，遍历后输出新的矩阵特征图。为了提升卷积层的特征提取能力，一般会采用多层卷积层进行幅度、相位等特征提取，补偿时域信号产生的幅值、相位等特征的变动^［10］，多个卷积核处理后得到多个特征图。

3） Unfold层：通常卷积核会对输入样本矩阵的整个区域滑动得到特征图，Unfold层只对输入的局部区域即信号数组部分进行卷积操作。特征图在送入LSTM之前需要通过Unfold层转换为序列数据。

4） Flatten层：将Unfold层输出的序列数据转变为可以供RNN训练的特征向量格式。

5） LSTM层：LSTM是RNN的一种变体，负责对输入的序列信号进行训练并调整参数，以完成对时序数据特征的识别。根据特征图的数量可以确定LSTM输入层接口的数量。传统的RNN只考虑输入数据的最近状态，会产生梯度消失或梯度爆炸^［11］问题，LSTM引入了细胞状态，对前向时刻中信息的保留和遗忘有所选择^［12］，提升了RNN处理长序列时的结构稳定性。

6） 全连接层：将信号展开，把学习到的特征映射到样本标记空间，即映射到k个(-\mathrm{\infty },+\mathrm{\infty })区间内。

7） Softmax层：处理均衡多分类问题时，对于输入的样本\mathit{x}，计算出其属于k种符号的k个概率。

8） 分类层：获得各样本属于每个类别的概率后，分类层根据最大概率判别样本所属类别，得到对应的样本符号，经QPSK解调后还原原始序列。

3　 仿真实验及性能分析

3.1　仿真实验条件

3.1.1　发送数据与接收数据

仿真实验中，发送方以1 Mb/s的速率连续发送10 000个由0或1组成的原始数据序列，经QPSK调制为5 000个QPSK符号，调制后每个符号的形式为4种符号（00，01，11，10）之一，经信道传输后到达接收方。接收方采样频率为20 MHz，因此，每秒接收的符号数为100 000（\mathrm{5000}\times \mathrm{20}）。所以，本文的盲均衡算法是将接收的数据进行四分类，每输入一组样本数据，CRNN就会预测样本的类别[P_{\mathrm{00}},P_{\mathrm{10}},P_{\mathrm{11}},P_{\mathrm{01}}{]}^{\mathrm{T}}，其中P_v （v=\mathrm{00,10,11,10}）表示分类为v的概率。为了后期处理方便，将[P_{\mathrm{00}},P_{\mathrm{10}},P_{\mathrm{11}},P_{\mathrm{01}}]{}^{\mathrm{T}}记为[P_{\mathrm{0}},P_{\mathrm{1}},P_{\mathrm{2}},P_{\mathrm{3}}{]}^{\mathrm{T}}，则样本标签转变为(\mathrm{0,1},\mathrm{2,3})。同时将接收到的数据按3∶1的比例划分成训练集和测试集，训练集有3 750个样本，测试集有1 250个样本，每个样本长度均为20。

3.1.2　仿真信道

本文针对两种典型的短波时变信道进行了仿真。其中，信道A为瑞利平坦衰落信道，信道B为频率选择性衰落信道。两种信道均为6径时延信道，每径信道的时延和增益如表1所示。

3.1.3　神经网络均衡器参数

为了将本文提出的针对短波时变信道，基于CRNN的盲均衡器（convolutional recurrent neural network blind equalizer， CRNNBE）与文献［13］提出的循环神经网络盲均衡器（recurrent neural network blind equalizer， RNNBE）以及文献［8］提出的卷积神经网络盲均衡器（convolutional neural network blind equalizer， CNNBE）进行性能比较，仿真时选取相近的神经网络结构参数，具体参数设置如表2所示。

3.2　仿真实验结果及性能分析

3.2.1　准确率和交叉熵损失值

准确率（accuracy）和交叉熵损失值（loss）反映了神经网络训练过程中均衡器性能优劣。准确率越高，均衡效果越好，误符号率越低，通信的可靠性越强。交叉熵损失值反映了预测值与真实样本标签的接近程度。其值越小，预测输出越接近真实样本标签；反之，预测错误率越高。

假设\mathrm{T}\mathrm{P}表示类别判断正确的样本数，\mathrm{T}\mathrm{N}表示类别判断错误的样本数，则准确率表达式为

\mathrm{a}\mathrm{c}\mathrm{c}\mathrm{u}\mathrm{r}\mathrm{a}\mathrm{c}\mathrm{y}=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{T}\mathrm{N}}\times \mathrm{100}\mathrm{\%}(6)

交叉熵函数表达式如下

\mathrm{l}\mathrm{o}\mathrm{s}\mathrm{s}=-{\displaystyle \sum _{i=\mathrm{1}}^N}{\displaystyle \sum _{j=\mathrm{1}}^K}{t}_{ij}\mathrm{l}\mathrm{n}(y_{ij})(7)

其中，N是样本数，K是划分类别（K=0，1，2，3），t_{ij}表示第i个样本属于类别j的概率，y_{ij}表示第i个样本输出属于类别j的概率，即Softmax函数的输出值。

表3为针对信道A，不同神经网络均衡器的训练参数和性能结果。图3~5分别表示针对信道A，当信噪比为5 dB时，RNNBE、CNNBE和CRNNBE的准确率和交叉熵损失值随迭代次数的变化。结合表3和图3~5可知，CNNBE的训练时长为15 s，迭代40次后，准确率收敛至98%，交叉熵损失值为0.1；RNNBE的训练时长为23 s，迭代300次后，准确率收敛至97%，交叉熵损失值为0.15；CRNNBE的训练时长为23 s，迭代20次后，准确率收敛至98%，交叉熵损失值为0.1。可见，在相同训练时长下，相比RNNBE，CRNNBE达到收敛时的准确率更高、损失值更小；收敛至相同准确率时，CRNNBE比CNNBE的训练时间略长，但达到收敛时的迭代次数减少一半。因此，整体而言，本文提出的CRNNBE算法性能更优。

3.2.2　误符号率

误符号率（symbol error rate， SER）指接收（均衡器预测输出）的错误符号数M与发送的总符号数N之间的比值。误符号率越高，代表均衡性能越低，通信可靠性越差。

SER的定义为

\mathrm{S}\mathrm{E}\mathrm{R}=M/N(8)

图6和图7分别为针对信道A和B，分别采用CMA盲均衡器^［5］、BP神经网络盲均衡器^［9］、 CNNBE^［8］、RNNBE^［13］和CRNNBE所得误符号率。

从图6中可见，在信道A条件下，CNNBE、 RNNBE和CRNNBE的误符号率均低于CMA盲均衡器和BP神经网络盲均衡器。信噪比（signal noise ratio， SNR）在-10~9 dB区间时，CNNBE、RNNBE和CRNNBE的误符号率没有明显区别；SNR在10~15 dB区间时，CNNBE和CRNNBE的误符号率明显低于RNNBE的误符号率；SNR在14 ~15 dB区间时，CRNNBE的误符号率略低于CNNBE的误符号率。

从图7中可见，在信道B条件下，CNNBE、 RNNBE和CRNNBE的均衡效果明显较好，SNR在-10~0 dB区间时，三者的误符号率区别不大。当SNR大于0 dB时，在相同SNR下，CRNNBE的误符号率最低。

因此，针对两种信道，本文所提出的CRNNBE算法可靠性最高并且性能最优。

4　 结 语

本文基于典型短波时变信道对通信均衡问题进行建模，在对采样数据进行预处理后，首先将通信信道均衡问题转化为神经网络的分类问题，然后对基于CRNN的短波时变信号盲均衡器结构进行了设计，并在两种短波时变信道中对CMA盲均衡器、BP神经网络盲均衡器、CNNBE、RNNBE和CRNNBE进行了性能仿真。实验结果表明，在瑞利平坦衰落信道和频率选择性衰落信道中，整体而言，相比其他均衡器，本文所提出的CRNNBE，在相同信噪比条件下，误符号率最低，通信可靠性最高，有利于短波通信系统性能的提升。相比RNNBE，在相同训练时间下，CRNNBE收敛准确率更高，交叉熵损失值更低。达到相同收敛准确率时，相比CNNBE，CRNNBE所需训练时间略长，但达到收敛时的迭代次数减少一半。因此，在使用短波时变通信系统且不考虑训练时长时，建议优先采用本文提出的CRNNBE。

参考文献

[1] AHMED S， KHAN Y， WAHAB A. A review on training and blind equalization algorithms for wireless communications［J］. Wireless Personal Communications， 2019， 108（3）：1759-1783. DOI： 10.1007/s11277-019-06495-8 .

[2] LI X H. Blind channel estimation and equalization in wireless sensor networks based on correlations among sensors［J］. IEEE Transactions on Signal Processing， 2005， 53（4）：1511-1519. DOI： 10.1109/TSP.2005.843744 .

[3] GHOSH M. Maximum-likelihood blind equalization［J］. Optical Engineering， 1992， 31（6）：1224-1228. DOI： 10.1117/12.57516 .

[4] GODARD D. Self-recovering equalization and carrier tracking in two-dimensional data communication systems［J］. IEEE Transactions on Communications， 1980， 28（11）：1867-1875. DOI： 10.1109/TCOM.1980.1094608 .

[5] 李茹， 张涛， 朱秋煜. 一种基于CMA的变步长盲均衡算法研究［J］. 现代电子技术， 2018， 41（3）： 10-13. DOI：10.16652/j.issn.1004-373x.2018.03.003 .

[6] LI R， ZHANG T， ZHU Q Y. Study on variable step blind equalization algorithm based on CMA［J］. Modern Electronics Technique， 2018， 41（3）： 10-13. DOI：10.16652/j.issn.1004-373x.2018.03.003（Ch ）.

[7] BURSE K， YADAV R N， SHRIVASTAVA S C. Channel equalization using neural networks： A review［J］. IEEE Transactions on Systems， Man， and Cybernetics， Part C （Applications and Reviews）， 2010， 40（3）：352-357. DOI： 10.1109/TSMCC.2009.2038279 .

[8] GENG Y X， ZHANG L Y， SUN Y S， et al. Research on ant colony algorithm optimization neural network weights blind equalization algorithm［J］. International Journal of Security and Its Applications， 2016， 10（2）：95-104. DOI： 10.14257/ijsia.2016.10.2.09 .

[9] LAVANIA S， KUMAM B， MATEY P S， et al. Adaptive channel equalization using recurrent neural network under SUI channel model ［C］// 2015 International Conference on Innovations in Information， Embedded and Communication Systems （ICIIECS）. New York： IEEE Press，2015：1-6. DOI：10.1109/ICIIECS.2015.7193035 .

[10] 周超.BP神经网络算法的数字均衡技术研究［J］.通信电源技术，2019， 36（9）：50-51. DOI：10.19399/j.cnki.tpt.2019.09.015 .

[11] ZHOU C. Research on digital equalization technology of BP neural network algorithm ［J］. Communication Power Technology， 2019， 36（9）：50-51. DOI：10.19399/j.cnki.tpt.2019.09.015（Ch ）.

[12] HINTON G E， SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks［J］. Science， 2006， 313（5786）：504-507. DOI：10.1126/science.1127647 .

[13] HOCHREITER S， SCHMIDHUBER J. Long short-term memory［J］. Neural Computation， 1997， 9（8）： 1735-1780. DOI：10.1162/neco.1997.9.8.1735 .

[14] GREFF K， SRIVASTAVA R K， KOUTNÍK J， et al. LSTM： A search space odyssey ［J］. IEEE Transactions on Neural Networks and Learning Systems， 2017， 28（10）： 2222-2232. DOI：10.1109/TNNLS.2016.2582924 .

[15] ZHANG A G， ZHU W， LI J. Spiking echo state convolutional neural network for robust time series classification［J］. IEEE Access， 2019， 7： 4927-4935. DOI：10.1109/ACCESS.2018.2887354 .

基金资助

国家自然科学基金(61671333)