基于伽马散度的半监督自训练图像分类

Semi-supervised self-training image classification method based on gamma divergence

摘要

近年来，各种半监督自训练方法在解决图像分类问题时取得了巨大进展，受到人们广泛关注。然而，即使是主流前沿的FixMatch方法，在模型训练过程中也会出现伪标签错误累积导致的训练不稳定和类别间极端性能失衡问题。为解决该问题，在现有FixMatch方法的基础上引入具有稳健性质的伽马散度，并提出基于伽马散度的半监督自训练方法。该方法将伽马散度以正则项的形式添加到训练模型的损失函数中，对错误记忆的伪标签进行纠偏处理。在人工添加污染的模拟数据集和CIFAR-10数据集上进行不同方法的对比实验，验证了GammaFixMatch方法处理伪标签错误累积问题的优越性。

Abstract

In recent years， various semi-supervised self-training methods have made significant progress in solving image classification problems and have attracted widespread attention. However， even the state-of-the-art methods like FixMatch can suffer from training instability and extreme performance imbalance between classes due to the accumulation of pseudo-labeling errors. To address this issue， this paper introduces the concept of robust gamma divergence on top of the FixMatch method and proposes a semi-supervised self-training approach based on robust gamma divergence. In this method， we incorporate gamma divergence as a regularization term to the loss function of the training model to correct the mislabeled instances caused by error accumulation. Additionally， we conduct comparative experiments on artificially polluted simulated datasets and the CIFAR-10 dataset to demonstrate the superiority of the GammaFixMatch method in handling the problem of pseudo-label error accumulation.

Graphical abstract

关键词

图像分类 / 半监督 / 自训练 / 伽马散度 / 深度学习 / FixMatch

Key words

image classification / semi-supervised / self-training / gamma divergence / deep learning / FixMatch

图像分类是根据图像信息中的不同特征，按照一定规则将图像分为不同的类别，从而实现各种应用的视觉分类任务。图像分类是计算机视觉研究中的基本问题，也是图像检测、图像分割、物体跟踪、行为分析等高层视觉任务的基础。图像分类技术在众多领域有着广泛应用，包括安防领域的生物模式识别、指纹人脸识别、行人检测、智能视频分析、物体侧写补全等；交通领域的交通场景物体识别、车辆计数、逆行检测、车牌检测与识别、行人闯红灯跟踪和检测等；医疗健康领域的影像观测、疾病鉴别、病理分析、人体数据监测等；互联网领域的基于内容的图像检索、相册自动归类等。一般来说，图像分类通过特征学习方法对整个图像进行描述，然后按照一定规则使用分类器判别类别，因此如何提取图像的特征至关重要。

传统的图像分类采用人工方法提取特征来描述图像，需要耗费大量人力物力，而且效率低下。自2012年Alex等在图像分类竞赛中使用的AlexNet网络在ImageNet数据集上展现出异乎寻常的优越性能开始^［1］，用深度学习来处理图像分类的方法迅速成为图像分类的主流和前沿方法。基于深度学习的图像分类方法与传统的方法有所不同，这种方法通过计算机学习分类图像样本数据的内在规律和表示层次，无需人工提取特征，比传统方法更加省时省力，目前来看精准度也有着大幅度提升，因此基于深度学习的图像分类方法成为当前研究的主流方法。

在过去十几年中，深度学习在处理大规模有标签图像数据集的图像分类问题上取得了巨大的成功，并且已经有了很多成熟的算法模型。与传统的图像分类方法类似，这种方法需要先对已分好类别的样本（有标签）进行训练，再对未分类样本数据（无标签）进行分类和识别。在实际应用中，为提高分类精准度需要大量的有标签训练样本，而这主要依赖于人工方法给足够的图像数据做标签，非常耗时低效。因此，需要通过减少对标签数据的需求来实现有效分类。

为实现这一需求，半监督学习得到了广泛的关注和应用。半监督学习通过从少量有标签样本和大量无标签样本中学习，提高了深度学习的效率^［2-3］。其中自训练方法是处理这种大量无标签数据的一种有效方法。自训练方法^［4-5］的核心在于伪标签的生成和应用，其基本思路是：先在已标记的少量数据样本上训练一个分类模型，然后对未标注数据进行预测，取预测置信度最高的分类对其进行标签定义（伪标签），然后将这类样本纳入当前训练样本中继续训练，直到模型的预测结果不再发生变化。即通过模型（通常是通过已有标签样本学习到的）预测为未标签样本分配伪标签，然后迭代地使用这些伪标签样本训练模型，直至模型稳定。

半监督自训练方法在图像分类上取得了巨大进展，但仍然存在训练不稳定和类别间极端性能失衡的问题。所谓训练不稳定是指训练初期准确率的波动很大，即准确率在缓慢提高时突然下降，而后期逐渐恢复后又会出现灾难性遗忘^［6］。例如，当前性能最优的自训练方法之一FixMatch方法^［7］，在初始训练中准确率会从逐渐稳定的较好范围（例如80%～90%）突然下降到20%左右，而其性能在随后训练中逐渐恢复后，又会发生灾难性遗忘的问题。训练时通常会采用预训练模型^［6-9］以提高数据效率，而在发生灾难性遗忘^［6］后，预训练模型的性能很难恢复。而类别间极端性能失衡是指训练过程中会出现马太效应。马太效应指表现良好的类别的准确性进一步提高，而表现较差的类别的准确性接近0^［7］。因为大多数机器学习模型更倾向于即使在训练数据中存在类别不平衡的情况下^［9］仍然能够在各个类别之间保持性能平衡，因此马太效应也是不希望出现的情况。上述两种现象的主要成因是伪标签的错误累积：训练中模型可能会预测出错误的伪标签，而后续训练中重复使用错误的伪标签会导致训练不稳定，导致灾难性遗忘的发生；而对于那些表现较差的类别，伪标签的错误累积会随着自训练的进行进一步恶化，最终导致马太效应的出现。

受伽马散度^［10-12］的启发，我们在模型训练中引入伽马散度作为正则化方法来抑制伪标签可能存在误差的影响。伽马散度是2001年由Jones等^［13］首次提出，是度量两个概率分布之间的差异，用以处理含污染数据的参数稳健估计问题。近年来，伽马散度在深度学习、迁移学习以及很多领域中都有所应用，展示出优良的稳健性能。伽马散度可以用于衡量模型生成的伪标签分布与真实标签分布之间的距离，同交叉熵一样可以量化伪标签与真实标签之间的差异程度。通过最小化伽马散度，可以减少伪标签的误差，从而改善自训练的性能，有效地降低自训练错误累积的风险。本文贡献在于：1）从统计稳健角度，把自训练过程中生成的伪标签看成是污染数据，基于伽马散度的稳健性质，首次考虑通过伽马散度对伪标签误差进行自适应的抑制；2）将伽马散度结合到已有的自训练框架，提出一种新的稳健半监督自训练方法，称为基于伽马散度的半监督自训练方法（GammaFixMatch），用来克服误差累积和性能不平衡的问题从而进一步提升方法稳定性；3）针对所提新方法设计一套算法，通过模拟实验和数值实验对比现有FixMatch方法，验证了新方法的有效性。

1 背景与相关工作

1.1 半监督自训练

在半监督图像分类问题中，完整数据集为\mathit{S}\bigcup \mathit{U}，这里\mathit{S}=\{({\mathit{X}}_i,{\mathit{Y}}_i):i=\mathrm{1},\cdots ,n\}包含了n个有标签样本，其中{\mathit{X}}_i是图像样本，{\mathit{Y}}_i为相应的图像样本的标签，是一个维数为标签类别数的向量，其分量均为0或者1。而\mathit{U}=\{{\mathit{X}}_i;i=n+\mathrm{1},\cdots ,n+N\}包含了N个无标签样本，通常有标签样本数量远小于无标签样本数量，即n\ll N。对于无标签的图像样本，需要对其进行伪标签的预测。以第i个无标签的图像样本为例，记K为标签类别总数，模型训练的分类器记为f(y|x;\theta )，这里y\mathrm{ϵ}\{\mathrm{1,2},\cdots ,K\}是标签类别，表示该图像样本属于第y类。分类器f(y|x;\theta )输出结果是将y作为第i个图像样本的伪标签的概率，记为{\widehat{y}}_i^{(y)}。记{\mathit{Y}}_i=({\widehat{y}}_i^{(\mathrm{1})},\cdots ,{\widehat{y}}_i^{(K)})，{\widehat{y}}_i^{(\mathrm{1})},\cdots ,{\widehat{y}}_i^{(K)}分别为将K个标签分配给该图像样本的概率，其满足{\sum }_{k=\mathrm{1}}^K{\widehat{y}}_i^{(k)}=\mathrm{1}。为叙述方便，下文将 S 和 U 同时视为样本集合或是样本对应的下标集合。

为衡量模型预测结果和真实标签之间的差异，自训练模型经常会使用交叉熵损失函数^［14］。模型训练实际上就是优化交叉熵损失函数，使其取得最小值。对于传统半监督自训练方法^［15-16］，实际上要优化的是以下交叉熵损失函数

\underset{\theta ,{\widehat{\mathit{Y}}}_{\mathit{U}}}{\mathrm{m}\mathrm{i}\mathrm{n}}(\theta ,{\widehat{\mathit{Y}}}_{\mathit{U}})=-{\sum }_{s\in \mathit{S}}{\sum }_{k=\mathrm{1}}^K{y}_s^{(k)}\mathrm{l}\mathrm{o}\mathrm{g}f(k|{\mathit{X}}_{\mathit{s}};\theta )-

{\sum }_{u\in \mathit{U}}{\sum }_{k=\mathrm{1}}^K{\widehat{y}}_u^{(k)}\mathrm{l}\mathrm{o}\mathrm{g}\frac{f(k|{\mathit{X}}_{\mathit{u}};\theta )}{\tau },

\mathrm{s}.\mathrm{t}.{\widehat{\mathit{y}}}_{\mathit{u}}\in {\mathrm{\Delta }}^{K-\mathrm{1}}\bigcup \left\{\mathrm{0}\right\},\forall u. （1）

式（1）右边第1项是有标签样本的损失函数，即文献［14］中定义的交叉熵损失函数的一般形式。第2项是无标签样本的损失函数，其中\tau为超参数，表示选取伪标签的置信度阈值（后文中会详细介绍）。可行集是零向量和{\mathrm{\Delta }}^{K-\mathrm{1}}的并集。其中，{\mathrm{\Delta }}^{K-\mathrm{1}}定义如下

{\mathrm{\Delta }}^{K-\mathrm{1}}=\{{\widehat{\mathit{Y}}}_i|i=\mathrm{1,2},\cdots ,K\},

{\widehat{\mathit{Y}}}_i=({\widehat{y}}_i^{(\mathrm{1})},\cdots ,{\widehat{y}}_i^{(K)}),

{\sum }_{k=\mathrm{1}}^K{\widehat{y}}_i^{(k)}=\mathrm{1}. （2）

其中，{\widehat{\mathit{Y}}}_i是K维向量，其分量均在区间［0，1］内。当目标图像有标签或者伪标签时，{\widehat{\mathit{y}}}_{\mathit{u}}在{\mathrm{\Delta }}^{K-\mathrm{1}}中取值，若尚未规定伪标签，{\widehat{\mathit{y}}}_{\mathit{u}}即为零向量。优化式（1）过于复杂，通常做法^［16］是将优化过程转化为以下2步交替迭代，也称为自训练：

（i）伪标签生成　固定参数\theta，寻找最优伪标签{\widehat{\mathit{Y}}}_{\mathit{U}}

\underset{{\widehat{\mathit{Y}}}_{\mathit{U}}}{\mathrm{m}\mathrm{i}\mathrm{n}}-{\sum }_{u\in \mathit{U}}{\sum }_{k=\mathrm{1}}^K{\widehat{y}}_u^{\left(k\right)}\mathrm{l}\mathrm{o}\mathrm{g}\frac{f\left(k|{\mathit{X}}_{\mathit{u}};\theta \right)}{\tau },

\mathrm{s}.\mathrm{t}.{\widehat{\mathit{y}}}_{\mathit{u}}\in {\mathrm{\Delta }}^{K-\mathrm{1}}\bigcup \left\{\mathrm{0}\right\},\forall u. （3）

（ii）神经网络训练　固定伪标签{\widehat{\mathit{Y}}}_{\mathit{U}}，寻找最优参数\theta

\underset{\theta }{\mathrm{m}\mathrm{i}\mathrm{n}}L\left(\theta ,\widehat{y}\right)=-{\sum }_{s\in \mathit{S}}{\sum }_{k=\mathrm{1}}^K{y}_s^{\left(k\right)}\mathrm{l}\mathrm{o}\mathrm{g}f\left(k|{\mathit{X}}_{\mathit{s}};\theta \right)-

{\sum }_{u\in \mathit{U}}{\sum }_{k=\mathrm{1}}^K{\widehat{y}}_u^{(k)}\mathrm{l}\mathrm{o}\mathrm{g}\frac{f(k|{\mathit{X}}_{\mathit{u}};\theta )}{\tau }, （4）

对于第一步的优化问题，有以下显式的全局最优解

{\widehat{y}}_u^{\left(k\right)\mathrm{*}}=\left\{\begin{array}{l}\mathrm{1},\mathrm{若}k=\mathrm{a}\mathrm{r}\mathrm{g}\underset{c}{\mathrm{m}\mathrm{a}\mathrm{x}}\frac{f\left(c|{\mathit{X}}_{\mathit{u}};\theta \right)}{\tau }\mathrm{且}f\left(k|{\mathit{X}}_{\mathit{u}};\theta \right)\tau ,\\ \mathrm{0},\mathrm{其他}\mathrm{情况}.\end{array}\right.（5）

式（5）是取模型预测的最大概率标签类别作为图像样本所属的类别，即用硬标签{\widehat{\mathit{Y}}}_{\mathit{U}}^{\mathit{*}}=({\widehat{y}}_u^{(\mathrm{1})*},\cdots ,{\widehat{y}}_u^{(K)*})取代原来的软标签{\widehat{\mathit{Y}}}_{\mathit{U}}作为图像样本的伪标签。因此传统自训练方法中伪标签是one-hot编码向量（即只有一个分量为1，其余均为0）或是零向量。此外，可以认为\tau是置信度阈值，当预测概率高于置信度阈值时，则认为当前估计的伪标签足够可信，并将其加入损失函数的计算中。通常情况下，模型预测的伪标签概率中，会有某一个类别的概率非常接近1，而其他类别的概率接近于0。这就可能导致模型将错误的分类视为高置信度的分类结果，即对于不确定样本的过度自信预测，从而产生错误的伪标签，在学习后得到不理想的模型效果。

在处理模型过度自信的预测的问题中，置信度正则化自训练（confidence regularized self-training，CRST）^［16］方法提供了加入伪标签正则化项的思路。该方法通过引入正则项对图像样本特征表示的学习过程进行约束和优化，提高模型性能和泛化能力，以达到更好的学习效果。CRST的一般定义为

\underset{\theta ,{\widehat{\mathit{Y}}}_{\mathit{U}}}{\mathrm{m}\mathrm{i}\mathrm{n}}L(\theta ,{\widehat{\mathit{Y}}}_{\mathit{U}})=L_{CB}(\theta ,{\widehat{\mathit{Y}}}_{\mathit{U}})+\alpha R_C(\theta ,{\widehat{\mathit{Y}}}_{\mathit{U}})=

-{\sum }_{s\in \mathit{S}}{\sum }_{k=\mathrm{1}}^K{y}_s^{(k)}\mathrm{l}\mathrm{o}\mathrm{g}f(k|{\mathit{X}}_{\mathit{s}};\theta )-

{\sum }_{u\in \mathit{U}}[{\sum }_{k=\mathrm{1}}^K{\widehat{y}}_u^{(k)}\mathrm{l}\mathrm{o}\mathrm{g}\frac{f(k|{\mathit{X}}_{\mathit{u}};\theta )}{\tau }-\alpha r_c(\theta ,{\widehat{y}}_u)],

\mathrm{s}.\mathrm{t}.{\widehat{\mathit{y}}}_{\mathit{u}}\in {\mathrm{\Delta }}^{K-\mathrm{1}}\bigcup \left\{\mathrm{0}\right\},\forall u. （6）

其中，R_C(\theta ,{\widehat{\mathit{Y}}}_{\mathit{U}})={\sum }_{u\in \mathit{U}}{r}_c(\theta ,{\widehat{\mathit{y}}}_{\mathit{u}})^［16］是伪标签正则化项，\alpha表示权重系数，其余定义同上。在实际训练中，伪标签正则化项当且仅当为均匀分布时取到最小值，而模型训练会优化使损失函数向更小的方向变化，从而使得模型的输出概率分布更加平滑，有效避免出现某一个类别概率过高的现象，提高对于不确定样本的鲁棒性。

CRST方法给我们带来的启发是：自训练方法存在的问题是由于伪标签可能存在误差造成的，如果把伪标签看成有污染的数据，采用统计稳健方法来处理这种有污染数据，预期能有效改善自训练方法存在的问题。基于此想法，在上述方法的基础上，考虑在神经网络训练过程中增加合适的抗数据污染的正则项。

1.2 伽马散度

通常一个污染数据模型表示为如下形式

g\left(x\right)=\left(\mathrm{1}-\epsilon \right)f_{\mathrm{0}}\left(x\right)+\epsilon \delta \left(x\right)，（7）

其中，f_{\mathrm{0}}(x)为数据潜在真实分布密度，\delta \left(x\right)为受污染数据或者离群值相关的噪声分布密度，\epsilon \in \left(\mathrm{0,1}\right)为污染数据比例，实际数据分布密度为g\left(x\right)。为简化，通常假定f_{\mathrm{0}}\left(x\right)可参数化，假设其形状已知且含有未知参数\theta，可以表示为p\left(x;\theta \right)，即f_{\mathrm{0}}\left(x\right)=p\left(x;\theta \right)。对于污染数据模型如何估计未知参数\theta，从统计角度来看是经典的稳健估计问题，且已有很多经典方法，例如M-估计^［17］等。本文采用近些年提出的基于伽马散度的新的稳健估计方法。在引入伽马散度之前，参考Fujisawa和Eguchi^［10］提出的假设：污染分布应该落在真实分布的尾部，即v_f={\left\{\int \delta \left(x\right)p{\left(x;\widehat{\theta }\right)}^{{\gamma }_{\mathrm{0}}}\mathrm{d}x\right\}}^{\frac{\mathrm{1}}{{\gamma }_{\mathrm{0}}}}在取到一个恰当的{\gamma }_{\mathrm{0}}后应当充分小。此时，Fujisawa和Eguchi^［10］提出的伽马散度定义如下

D_{\gamma }\left(g\left(x\right),p\left(x;\theta \right)\right)=\frac{\mathrm{1}}{\gamma \left(\mathrm{1}+\gamma \right)}\mathrm{l}\mathrm{o}\mathrm{g}{\int g\left(x\right)}^{\mathrm{1}+\gamma }\mathrm{d}x-\frac{\mathrm{1}}{\gamma }\mathrm{l}\mathrm{o}\mathrm{g}\int g\left(x\right)p{(x;\theta )}^{\gamma }\mathrm{d}x+\frac{\mathrm{1}}{\mathrm{1}+\gamma }\mathrm{l}\mathrm{o}\mathrm{g}\int p{(x;\theta )}^{\mathrm{1}+\gamma }\mathrm{d}x=

\mathrm{l}\mathrm{o}\mathrm{g}\left[\frac{{\left\{\int g{\left(x\right)}^{\mathrm{1}+\gamma }\mathrm{d}x\right\}}^{\frac{\mathrm{1}}{\gamma \left(\mathrm{1}+\gamma \right)}}{\left\{\int p{(x;\theta )}^{\mathrm{1}+\gamma }\mathrm{d}x\right\}}^{\frac{\mathrm{1}}{\mathrm{1}+\gamma }}}{{\left\{\int g\left(x\right)p{\left(x;\theta \right)}^{\gamma }\mathrm{d}x\right\}}^{\frac{\mathrm{1}}{\gamma }}}\right]. （8）

在满足假设的情况下，Fujisawa和Eguchi^［10］证明了通过极小化伽马散度得到的参数\theta的估计\widehat{\theta }具有稳健性质。事实上，通过最小化伽马散度使得p(x;\widehat{\theta })逼近g\left(x\right)的同时，由于参数分布p(x;\widehat{\theta })与真实分布f_{\mathrm{0}}\left(x\right)和带噪声数据分布g\left(x\right)之间有一个毕达哥拉斯三角式关系^［10］，那么p(x;\widehat{\theta })也会逼近真实分布f_{\mathrm{0}}\left(x\right)，从而抑制了数据污染对估计产生的影响。

考虑n个独立样本\left\{\left({\mathit{X}}_i,{\mathit{Y}}_i\right),i=\mathrm{1},\dots ,n\right\}，在本文的模型中需要根据图像样本预测其伪标签，即根据x预测y，因此首先将式（8）改写成以下条件分布的形式

D_{\gamma }\left(g\left(y|x\right),p\left(y|x;\theta \right)\right)=

\frac{\mathrm{1}}{\gamma }\mathrm{l}\mathrm{o}\mathrm{g}{\int (\int g\left({y|x)}^{\mathrm{1}+\gamma }\mathrm{d}y\right)}^{\frac{\mathrm{1}}{\mathrm{1}+\gamma }}g\left(x\right)\mathrm{d}x-

\frac{\mathrm{1}}{\gamma }\mathrm{l}\mathrm{o}\mathrm{g}\int \left\{\frac{\int g(y|x)p{(y|x;\theta )}^{\gamma }\mathrm{d}y}{(\int p{(y|x;\theta )}^{\mathrm{1}+\gamma }{\mathrm{d}y)}^{\frac{\gamma }{\mathrm{1}+\gamma }}}\right\}g\left(x\right)\mathrm{d}x, （9）

由于g\left(y|x\right)是数据分布，与参数\theta无关，因此优化伽马散度等价于优化式（9）中右边第2项，又考虑到样本都是从g\left(x\right)和g\left(y|x\right)中独立抽取的，那么在实践中等价于最小化它的经验估计

{\widehat{\theta }}_{\gamma }=\mathrm{a}\mathrm{r}\mathrm{g}\underset{\theta }{\mathrm{m}\mathrm{i}\mathrm{n}}-\frac{\mathrm{1}}{n}{\sum }_{i=\mathrm{1}}^n\frac{p{\left({\mathit{y}}_i\left|{\mathit{x}}_i;\theta \right.\right)}^{\gamma }}{{\left(\int p{\left(y\left|{\mathit{x}}_i;\theta \right.\right)}^{\mathrm{1}+\gamma }\mathrm{d}y\right)}^{\frac{\gamma }{\mathrm{1}+\gamma }}}, （10）

由于半监督自训练方法存在上述错误累积的问题，而错误累积的原因是伪标签可能存在误差，那么如果把伪标签看成有污染的数据，在当前主流的自训练方法FixMatch^［5］上引入伽马散度作为损失函数的稳健性正则项，就能够抑制这种错误累积。

2 GammaFixMatch方法

2.1 FixMatch方法

当前基于自训练的图像分类主流方法是FixMatch方法。FixMatch方法是同时利用伪标签和一致性正则化进行无监督训练的一种方法。具体来说，该方法对于有标签图像执行有监督训练，与普通分类任务训练没有区别。对于无标签的图像样本，先对其弱增广处理输入模型获得伪标签，再通过交叉熵损失函数训练强增广图像使其与伪标签相匹配。其中，弱增广指对图像进行平移、翻转、剪切、拼接、缩放等简单几何变换；强增广指对于图像的色彩、背景等进行码化，改变RGB通道等较大幅度的改变。

伪标签的选取是FixMatch方法中非常重要的一环。在具体的伪标签选取中，只有当模型将大于阈值条件的高概率分配给其中一个可能的类别时，才将该类别用作伪标签。因此，定义示性函数Ⅱ(\mathrm{m}\mathrm{a}\mathrm{x}(f(\cdot |\alpha ({\mathit{X}}_{\mathit{u}});\theta ))\tau )用来筛选符合要求超过置信度阈值\tau的伪标签。其中\tau是阈值条件。

FixMatch方法的另一个重要思想是一致正则化。一致正则化的思想基于下面2个基本假设：其一，一致性假设：一般认为相邻或者相近的数据点具有相同的标签；其二，集群假设：在分类问题中数据的表征往往被组织成高密度的集群，同一集群的数据点应当具有相同的标签。具体来说，空间中一个确定信息数据点和与其相近的数据点属于同一类别。以图像分类为例，将一个图像进行强弱2种增广处理，而增广后的图片经由神经网络预测出的标签应当与原图片标签一致。一致性正则化思想^［18-19］为训练模型的抗噪声能力提供了理论基础。实际上，可以鼓励模型对于相似的无标签样本产生相似的预测，从而提高模型的稳定性。不同的正则化和惩罚策略可以用来适应不同的问题和数据特点，从而实现更好的模型泛化和鲁棒性。

在FixMatch具体操作中，首先要对无标签图像进行强弱2种增广处理^［20-21］，强弱2种图像增广处理以下分别表示为：A(\bullet )和\alpha (\bullet )。然后，将经过弱增广的图像输入到模型中，并按照上述方法预测出伪标签。接着，用伪标签作为真实标签监督强增广图像的训练，即最小化交叉熵损失函数使强增广图像经过模型的预测适合上述伪标签。损失函数表示如下

L_s=-\frac{\mathrm{1}}{\left|\mathit{S}\right|}\sum _{s\in \mathit{S}}{\sum }_{k=\mathrm{1}}^K{y}_s^{\left(k\right)}\mathrm{l}\mathrm{o}\mathrm{g}f\left(k|\alpha \left({\mathit{X}}_s\right);\theta \right), （11）

L_u=-\frac{\mathrm{1}}{\left|\mathit{U}\right|}\left(\right.Ⅱ\left(\underset{k}{\mathrm{m}\mathrm{a}\mathrm{x}}\left(f\left(k|\alpha \left({\mathit{X}}_u\right);\theta \right)\right)\tau \right)\times

\left.\left[{\sum }_{k=\mathrm{1}}^K{\widehat{y}}_u^{\left(k\right)}\mathrm{l}\mathrm{o}\mathrm{g}f(k\left|A({\mathit{X}}_u);\theta )\right.\right]\right), （12）

其中，设L_s为有标签数据训练的损失函数，L_u为上述FixMatch的交叉熵损失函数。{\widehat{y}}_u^{(k)}是伪标签，此处使用其one-hot编码形式，即

{\widehat{y}}_u^{\left(k\right)}=\left\{{}_{\mathrm{0},\mathrm{其他}\mathrm{情况}.}^{\mathrm{1},\mathrm{若}k=arg\underset{c}{\mathrm{m}\mathrm{a}\mathrm{x}}f\left(c|\alpha \left({\mathit{X}}_u\right);\theta \right),}\right. （13）

最终，可以认为该伪标签就是图像所属类别，完成图像分类。

2.2 GammaFixMatch方法

引入上文介绍的伽马散度，即式（8），定义无标签样本损失函数的正则项

L_{\mathrm{G}\mathrm{a}\mathrm{m}\mathrm{m}\mathrm{a}}=-\frac{\mathrm{1}}{\left|\mathit{U}\right|}{\sum }_{u\in \mathit{U}}\left(\mathrm{Ⅱ}(\underset{k}{\mathrm{m}\mathrm{a}\mathrm{x}}\left(f\left(k|\alpha \left({\mathit{X}}_u\right);\theta \right)\right)\tau \right)\times

\frac{f{\left(\mathrm{a}\mathrm{r}\mathrm{g}\underset{k}{\mathrm{m}\mathrm{a}\mathrm{x}}f(k|\alpha ({\mathit{X}}_u);\theta )|A({\mathit{X}}_u);\theta \right)}^{\gamma }}{{\left({\sum }_{k=\mathrm{1}}^{K}f{\left(k|A\left({\mathit{X}}_u\right);\theta \right)}^{\mathrm{1}+\gamma }\right)}^{\frac{\gamma }{\mathrm{1}+\gamma }}}.（14）

注意到，\mathrm{a}\mathrm{r}\mathrm{g}\underset{k}{\mathrm{m}\mathrm{a}\mathrm{x}}f(k|\alpha ({\mathit{X}}_u);\theta )相当于是先对图像样本进行弱增广后模型预测的伪标签，这样预测的伪标签可能受到初值影响的错误累积，存在一定水平的噪声，将其作为带噪声的标签注入到稳健的伽马散度中。在FixMatch方法基础上，添加伽马散度正则项，并定义新的损失函数为

L=L_s+\left(\mathrm{1}-\lambda \right)L_u+\lambda L_{\mathrm{G}\mathrm{a}\mathrm{m}\mathrm{m}\mathrm{a}}, （15）

其中，\lambda是提前设置好的超参数，表示正则化项的权重。按照上文提到伽马散度的稳健效果，只需要最小化式（15）的损失函数，就可以达到抑制伪标签带来的错误累积的效果。

在GammaFixMatch方法中，采用与FixMatch方法中相同的图像增广方法，并采取余弦退火作为学习率更新规则，该规则在模型参数优化中收敛性质良好，不会在训练后期波动较大导致数值结果不稳定。训练时，每次在 S 中抽取一个小批次，批次大小为B。在 U 中抽取数量更多批次一起处理，批次大小记为\mu B。

此外，目前半监督学习算法通常会在训练过程中增加无标签损失项（L_u）的权重，以确保L_s和(\mathrm{1}-\lambda )L_u+\lambda L_{\mathrm{G}\mathrm{a}\mathrm{m}\mathrm{m}\mathrm{a}}之间的权重平衡。然而，在具体实验中我们发现，对于GammaFixMatch方法来说这是不必要的。事实上，在GammaFixMatch方法训练初期，\underset{k}{\mathrm{m}\mathrm{a}\mathrm{x}}f(k|\alpha ({\mathit{X}}_u);\theta )通常是小于\tau的，因此在训练初期模型往往无法预测伪标签，而无标签损失项的权重会随着训练自然缓慢增加。而当模型训练到达中期\underset{k}{\mathrm{m}\mathrm{a}\mathrm{x}}f(k|\alpha ({\mathit{X}}_u);\theta )\mathit{\tau }的情况会更加频繁地出现。这样的变化表明：GammaFixMatch训练过程中会给伪标签自然地产生一个课程学习安排，使得简单的样本更早被模型所学习，而复杂的样本在一段时间后，当模型更成熟时才被逐步学习。这也进一步体现了GammaFixMatch方法的稳健性质。

3 实验分析

本节分别在模拟数据集和真实数据集上比较GammaFixMatch方法和已有FixMatch方法的效果。

3.1 模拟数据集上的数值实验

3.1.1 模拟数据集

本次模拟实验需要构造模拟数据集。我们在原始数据集上面人工添加一定程度的污染，即采用随机函数随机打乱部分图像样本的标签。这样生成的模拟数据集会存在一部分样本的标签是错误的。在模拟数据集的具体构造上，用随机函数在CIFAR-10数据集上分别随机取比例为10%、20%和40%的图像样本，再用随机函数给上述取出的样本随机标注标签，从而得到样本标签污染比例为10%、20%和40%的数据集，将这3组数据集作为模拟数据集。

为使实验更具有说服力，需要检验：GammaFixMatch方法相对于FixMatch方法而言能否在受污染程度不同的数据集上均降低伪标签的错误率，且标注更准确的伪标签。直观上看，模拟数据集上的污染程度越高，也就是被打乱标签的样本比例越高，越容易误导模型产生更多的错误伪标签，模型训练出的伪标签错误率越高。由此，可以观察在不同伪标签错误率情况下，GammaFixMatch方法是否均可以降低伪标签错误率。

3.1.2 模拟数据集实验设置

在上述构造出的3组模拟数据集上进行模拟实验。使用Wide ResNet-28-2作为骨干网络，其共有1.5 M参数量。优化器使用SGD。在对图像增广处理时，考虑到FixMatch在提出时采用了2种不同的图像增广策略：RandAugment^［20］和CTAugment^［21］。简单起见，我们的方法使用的是RandAugment。具体来说，采用翻转和平移的方式对图像进行弱增广处理，采用将背景组成颜色分解为三原色的方式实现强增广。初始学习率设置为0.03。为动态调整训练期间的学习率，使模型更好地收敛，使用余弦退火学习率调整器对学习率进行适当的调整

{\eta }_t=\eta \mathrm{c}\mathrm{o}\mathrm{s}\left(\frac{\mathrm{7}\mathrm{\pi }t}{\mathrm{16}T}\right), （16）

其中，{\eta }_t是第t批次的学习率，\eta为初始学习率，T为总批次数。

在正式对比实验开始之前，需要选定实验最优超参数。在本方法中，具有创新意义的超参数是伽马散度的\gamma和其权重\lambda。由于网络结构复杂，目前并没有方法计算得到\gamma和\lambda的理论最优值（具体原因参考文献［10］）。因此，我们采用不同参数组合进行实验，并选取正确率最高的参数组合。具体地，借鉴Fujisawa和Eguchi在优化交叉熵损失函数时实验的经验^［10］， \gamma取值固定为0.05，\lambda取值在（0.25，0.375，0.5）中挑选。改变参数\lambda的值，选出在该\gamma取值下的正确率最高的组合，由此最终选取出最优的参数组合。经过实验，得到最优的参数组合是\gamma =\mathrm{0.05}，\lambda =\mathrm{0.375}，如图1所示。

由于实验中其他超参数与我们方法创新点并不相关，因此我们沿用FixMatch方法的设置，列举如下：伪标签置信度\tau =\mathrm{0.95}，SGD优化器的动量参数\beta =\mathrm{0.9}，训练批次大小B=\mathrm{64}，\mu =\mathrm{7}，总批次数T={\mathrm{2}}^{\mathrm{20}}，每轮是{\mathrm{2}}^{\mathrm{10}}批次。

3.1.3 模拟数据集实验分析

将3组实验的伪标签错误率制成曲线图，如图2所示。

观察3组曲线图共性特征，可以发现，在3组模拟实验的训练前期，模型训练的伪标签错误率迅速下降，但在降低到0.02左右时又逐渐上升。在训练进行至第40轮之前，2种方法伪标签错误率区别不显著；在训练进行至40～50轮之间时，GammaFixMatch方法训练得到伪标签错误率开始低于FixMatch方法，而且错误率差距随着训练轮次逐渐增大；在训练进行至第128轮时，GammaFixMatch方法训练伪标签错误率已经明显低于FixMatch方法。将3组实验结果从趋势的角度比较，数据集上的污染程度越高，在训练达到后期时伪标签错误率越高。这符合我们对于实验结果的预期。

分析上述实验结果，在3组模拟实验的训练前期，模型尚未被错误的样本标签影响，因此共同出现伪标签错误率下降的现象。从第20轮开始，3组实验的模型均开始明显受到模拟数据集上面错误样本标签的误导，伪标签错误率逐渐升高。同时，模拟数据集上污染比率越高，伪标签错误率上升越快。最为重要的是，在3组实验的结果中，GammaFixMatch方法相比于FixMatch方法均更有效地使伪标签错误率下降，成功起到了抑制伪标签错误累积的效果。这说明对于具有大量错误标签的模拟数据集来说，GammaFixMatch方法在稳健性和准确率上有着显著的优势。预期在真实数据集的实验中，GammaFixMatch方法对于伪标签的错误累积问题应有着显著的改善。

3.2 真实数据集上的数值实验

接下来，将GammaFixMatch方法应用到CIFAR-10和CIFAR-100数据集上，同时与以下算法进行对比：FixMatch^［5］，ReMixMatch^［21］和MixMatch^［22］，最后通过对比分析得出实验结论。

3.2.1 真实数据集

本文真实数据集上的数值实验主要在CIFAR-10、CIFAR-100这2个典型的图像数据集上进行。

CIFAR-10数据集是一个用于机器视觉领域图像分类的数据集，共包含60 000个样本，每个样本都是一张尺寸为32×32的图像，每张图像包含3个固定通道（RGB通道）。该数据集包含5个训练集和1个测试集，每个训练集或测试集包含10 000张图像。图像内容包含10类物体，均有设置好的标签，分别为：飞机、汽车、鸟类、猫、鹿、狗、青蛙、马、船和卡车。

CIFAR-100数据集与CIFAR-10类似，其图像尺寸和固定通道与CIFAR-10相同，区别在于CIFAR-100数据集彩色图像内容包含100类物体，每个类别包含600个图像样本。而这100个子类又被归为20个大类，每个大类和子类都有其规定的标签。

2个数据集的样本总数、类别数目和图像尺寸对比如表1所示。

本实验通过观察GammaFixMatch方法在真实数据集上训练的分类错误率是否低于FixMatch、MixMatch等方法来评估分类效果优劣。

3.2.2 真实数据集实验设置

在CIFAR-10数据集上选取有标签图像时，沿用过往半监督自训练工作的设置，分别在10个类别中随机取出4、25和400个有标签样本来完成3组实验。则在3组实验中有标签的图像样本数量分别为40、250和4 000，远小于无标签样本数，符合半监督训练要求。CIFAR-10数据集上抽取标签样本数具体如表2所示。同样地，对于CIFAR-100数据集上有标签图像的选取，理论上仍然要在100个类别中随机取出4、25和400个有标签的样本，即3组实验有标签的图像样本数量分别为400、2 500和40 000。但半监督自训练要求有标签样本数量远小于无标签样本数量，因此在CIFAR-100数据集的实验中，优先采取第1组实验的结果。在取出有标签图像样本后，同样将其余样本的标签隐去，得到可供半监督训练的样本数据。

在真实数据集上的具体实验设置中，仍然使用Wide ResNet-28-2作为骨干网络，SGD作为优化器，图像增广处理方式，初始学习率和学习率调整方式以及超参数的选取也与模拟实验中完全相同。在此不再赘述。

3.2.3 真实数据集实验分析

接下来，正式在真实数据集上进行对比实验。在CIFAR-10数据集上，每组随机实验进行5次，并取最后的平均值和标准差。由于在CIFAR-100数据集上的实验耗费较多时间和资源，仅对每组进行3次随机试验。在2个数据集上的实验结果如表3所示。

实验结果显示：在CIFAR-10数据集上，有标签样本很少的情况下（每一类只有4个有标签样本），GammaFixMatch方法错误率显著下降，与MixMatch和UDA方法相比错误率下降超过70%，与FixMatch方法相比错误率下降约30%；但在余下2组实验（每一类有25和400个有标签样本）中，GammaFixMatch方法虽然仍降低了错误率，但效果没有第1组明显：与FixMatch方法相比，GammaFixMatch方法只降低了大约4%的错误率。然而，CIFAR-100数据集上进行的实验中（此处只取每一类有4个，总共400个有标签样本的实验结果），GammaFixMatch方法相对于传统的FixMatch的确有优化效果，但对比ReMixMatch方法却稍逊一筹。事实上，GammaFixMatch比FixMatch错误率低了约5%，比ReMixMatch方法错误率高了约7%。

通过上述实验结果，可以发现：GammaFixMatch方法在有标签样本很少的情况下相对于FixMatch方法训练效果有明显的提高，在有样本标签相对较多时提高不那么明显。究其原因，我们认为：标签较少的情况下，传统的半监督自训练方法更有可能学习到错误的伪标签，从而产生错误累积，导致效果不好。而GammaFixMatch方法恰恰会避免这种错误积累，因此效果显著提升。在标签数较多时原始方法也可以达到较高的训练水平，GammaFixMatch方法相对提升并不显著。而在CIFAR-100数据集上GammaFixMatch方法表现居于ReMixMatch之下，我们认为其原因在于：在数据样本较充足的情况下，ReMixMatch方法本身就比FixMatch方法更具有优势（原因见文献［5］），而GammaFixMatch方法是在FixMatch方法上的延伸，因此相对于原始方法有提升。这能够说明伽马散度的引入的确有效，稍逊于ReMixMatch方法也在实验预期之中。

通过上述实验分析，可以验证伽马散度的确能改善训练中可能会出现的伪标签错误累积和类别间极端性能失衡的问题，可以作为FixMatch的优化方法。事实上，伽马散度具有很好的兼容性和简洁性，其作为一个正则项，可以自由、简单地结合在其他自训练方法中，广泛地适用于半监督自训练方法。同时，其所具有的稳健性质也是改善训练模型的关键。由此，引入伽马散度并构建GammaFixMatch方法十分必要。

4 总结与展望

首先，本文观察到近年来半监督自训练方法中存在的训练不稳定和伪标签错误累积的问题，进而考虑到具有稳健性质的伽马散度，并尝试将其估计形式作为自训练方法中的一个正则项对错误的伪标签进行纠偏。其次，本文讨论了伽马散度的性质以及自训练方法的框架，并以FixMatch为基础提出GammaFixMatch方法，成功构造其损失函数用于具体实验。最后，进行真实数据集和模拟数据集上不同方法的对比实验，证明了GammaFixMatch方法在图像分类问题上的优势，说明了伽马散度的有效性。

事实上，伽马散度具有很好的兼容性，可以作为正则项插入到其他的训练模型中。未来，可以将伽马散度广泛地应用于各类半监督自训练模型中，以此改善训练模型。同时，还可以进一步优化伽马散度正则项，从而更好地发挥其在多类别数据集中的效果。

参考文献

[1] Krizhevsky A， Sutskever I， Hinton G E. ImageNet classification with deep convolutional neural networks［J］. Communications of the ACM， 2017， 60（6）： 84-90.DOI：10.1145/3065386 .

[2] Grandvalet Y， Bengio Y. Semi-supervised learning by entropy minimization［C］//Proceedings of the 17th International Conference on Neural Information Processing Systems. December 13-18， 2004， Vancouver， BC， Canada. ACM， 2004： 529 - 536.

[3] Chen T， Kornblith S， Swersky K， et al. Big self-supervised models are strong semi-supervised learners［C］//Proceedings of the 34th International Conference on Neural Information Processing Systems. December 6 - 12， 2020， Vancouver， BC， Canada. ACM， 2020： 22243 -22255. DOI： 10.5555/3495724.3497589 .

[4] Lee D H. Pseudo-label： the simple and efficient semi-supervised learning method for deep neural networks［C］//Workshop on challenges in representation learning， ICML. 2013， 3（2）： 896.

[5] Sohn K， Berthelot D， Li C L， et al. FixMatch： simplifying semi-supervised learning with consistency and confidence［C］//Proceedings of the 34th International Conference on Neural Information Processing Systems. December 6 - 12， 2020， Vancouver， BC， Canada. ACM， 2020： 596 - 608. DOI： 10.5555/3495724.3495775 .

[6] Kirkpatrick J， Pascanu R， Rabinowitz N， et al. Overcoming catastrophic forgetting in neural networks［J］. Proceedings of the National Academy of Sciences of the United States of America， 2017， 114（13）： 3521-3526. DOI： 10.1073/pnas.1611835114 .

[7] Chen B， Jiang J， Wang X， et al. Debiased self-training for semi-supervised learning［C］//Proceedings of the 36th International Conference on Neural Information Processing Systems. DOI：10.48550/2202.07136 .

[8] Devlin J， Chang M W， Lee K， et al. BERT： pre-training of deep bidirectional transformers for language understanding［EB/OL］. arXiv 2018： 1810.04805. （2018-10-11）［2024-04-10］.

[9] Zhou B L， Lapedriza A， Khosla A， et al. Places： a 10 million image database for scene recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40（6）： 1452-1464. DOI：10.1109/TPAMI.2017.2723009 .

[10] Fujisawa H， Eguchi S. Robust parameter estimation with a small bias against heavy contamination［J］. Journal of Multivariate Analysis， 2008， 99（9）： 2053-2081. DOI： 10.1016/j.jmva.2008.02.004 .

[11] Ren M Y， Zhang S G， Ma S G， et al. Gene–environment interaction identification via penalized robust divergence［J］. Biometrical Journal. Biometrische Zeitschrift， 2022， 64（3）： 461-480. DOI： 10.1002/bimj.202000157 .

[12] Hung H， Jou Z Y， Huang S Y. Robust mislabel logistic regression without modeling mislabel probabilities［J］. Biometrics， 2018， 74（1）： 145-154.DOI：10.1111/biom.12726 .

[13] Jones M C， Hjort N L， Harris I R， et al. A comparison of related density‐based minimum divergence estimators［J］. Biometrika， 2001， 88（3）： 865-873. DOI： 10.1093/biomet/88.3.865 .

[14] Zhang Z L， Sabuncu M R. Generalized cross entropy loss for training deep neural networks with noisy labels［C］//Proceedings of the 32nd International Conference on Neural Information Processing Systems. December 3 - 8， 2018， Montréal， Canada. ACM， 2018： 8792–8802. DOI： 10.5555/3327546.3327555 .

[15] Amini M R， Feofanov V， Pauletto L， et al. Self-training： a survey［EB/OL］. arXiv 2022： 2202.12040.（2022-02-24）［2024-04-10］.

[16] Zou Y， Yu Z D， Liu X F， et al. Confidence regularized self-training［C］//2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Seoul， Korea （South）. IEEE， 2019： 5981-5990. DOI： 10.1109/ICCV.2019.00608 .

[17] Huber P J. Robust statistics［M］. Wiley， 1982. DOI： 10.1002/0471725250 .

[18] Ouali Y， Hudelot C， Tami M. Semi-supervised semantic segmentation with cross-consistency training［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle， WA， USA. IEEE， 2020： 12671-12681. DOI： 10.1109/CVPR42600.2020.01269 .

[19] Lai X， Tian Z T， Jiang L， et al. Semi-supervised semantic segmentation with directional context-aware consistency［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville， TN， USA. IEEE， 2021： 1205-1214. DOI： 10.1109/CVPR46437.2021.00126 .

[20] Cubuk E D， Zoph B， Shlens J， et al. Randaugment： practical automated data augmentation with a reduced search space［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Seattle， WA， USA. IEEE， 2020： 3008-3017. DOI： 10.1109/CVPRW50498.2020.00359 .

[21] Berthelot D， Carlini N， Cubuk E D， et al. ReMixMatch： semi-supervised learning with distribution alignment and augmentation anchoring［EB/OL］. arXiv 2019： 1911.09785.（2019-11-21）［2024-04-10］.

[22] Berthelot D， Carlini N， Goodfellow I， et al. MixMatch： a holistic approach to semi-supervised learning［EB/OL］. arXiv 2019： 1905.02249.（2019-05-06）［2024-04-10］.

基金资助

国家自然科学基金(12171454)

国家自然科学基金(U19B2940)

中央高校基本科研业务费专项资助