群不变孪生支持向量机及其一致性研究

Group Invariance-Based Twin Support Vector Machines （GI⁃TWSVM）： The Problem and Its Consistency

摘要

群不变性是一种重要的先验知识，往往用于提升算法性能。孪生支持向量机是一种二分类支持向量机算法，同样可以利用群不变性来提高性能。因此，将群不变性引入到孪生支持向量机框架中，定义了群不变孪生支持向量机问题，以提升孪生支持向量机算法性能。首先，为群不变孪生支持向量机构造了具体的最优化问题，并以有界孪生支持向量机为例，提出两种具备群不变性的有界孪生支持向量机算法，以此说明该最优化问题有解，故有实际意义。然后，系统研究了群不变孪生支持向量机的一致性，为其相关算法奠定了扎实的理论基础。最后，仍以有界孪生支持向量机为例进行实验。实验表明，群不变性能够提升孪生支持向量机算法性能。

Abstract

Group invariance is a crucial type of prior knowledge often employed to enhance learning performance. As a binary classification support vector machine algorithm, twin support vector machines (TWSVM) can improve performance by exploring group invariance. Thus, in this paper, we propose to incorporate group invariance into the framework of TWSVM and thereby define the problem of group invariance-based twin support vector machines (GI⁃TWSVM) to improve the performance. First, an optimization problem is formulated for GI⁃TWSVM. Using the Twin Bounded Support Vector Machine (TBSVM) as an example, we develop two TBSVM algorithms that incorporate group invariance, demonstrating that the optimization problem is solvable and practically significant. Then, we systematically investigate the consistency of GI⁃TWSVM to build a solid theoretical basis for the related algorithms. Finally, experimental results using TBSVM as an example indicate that group invariance can significantly enhance the performance of twin support vector machine algorithms.

Graphical abstract

关键词

不变性 / 群不变性 / 孪生支持向量机 / 一致性 / 通用一致性

Key words

invariance / group invariance / twin support vector machine / consistency / universal consistency

0　 引 言

大量研究表明，当给机器学习算法加入某种先验知识^[1，2]，如给分类器加上光滑性假设，往往能使学习算法获得更好的结果。不变性^[3，4]是一种重要的先验知识，它作为一种自然的对称规律，广泛存在于各种实际应用中，如手写数字识别^[5]、数据增强^[6]等。目前，大多数的不变性都可以归结为基于群类变换的不变性（简称为群不变性，即Group Invariance，简记为GI）^[7]。考虑到大多数变换都可以看作是群作用^[7]，如对数据进行平移、旋转、置换等，群不变性可以看成是对数据施加群作用，生成一个新数据，而新数据的标签与原数据保持一致。此外，对每个数据施加的群作用也可能是不一样的。以手写数字识别^[5]为例，图片中的手写数字并不是规范格式，通过对该数据施加群作用，使其变换成规范格式。但是每个手写数字的不规范性是不一样的，不同数据可能需要旋转不同的角度，不同的旋转角度对应到不同的群作用。因此，如何把群不变性加入到统计学习理论及其相关机器学习算法中以提高算法性能，是统计学习中一个非常基础而又重要的问题。

孪生支持向量机(Twin SVM，TWSVM)^[8]是基于支持向量机（Support Vector Machine, SVM）和广义特征值最接近支持向量机(Generalized Eigenvalue Proximal SVM，GEPSVM)算法^[9]提出的一种二分类SVM算法，被广泛应用于解决各种实际问题（如人脸识别、图像分割和文本分类等）。该算法的核心思想是先将数据映射到某个高维特征空间，再在该特征空间中构造两个不平行超平面，使得每个超平面都尽可能接近其中一个类的数据，同时与另一个类的数据距离不小于1。此后，很多TWSVM变种不断被提出，如有界孪生支持向量机(Twin Bounded SVM，TBSVM)^[10]、加权TWSVM^[11]、光滑TWSVM^[12]、最小二乘TWSVM^[13~15]、鲁棒TWSVM^[16，17]、拉普拉斯TWSVM^[18]、基于密度的TWSVM^[19]以及基于字典学习的TWSVM^[20]等。尽管TWSVM发展十分迅速，但目前学界似乎都没有考虑到群不变性对其算法性能的影响。因此，本文在二分类背景下研究如何把群不变性加入到TWSVM及其变种里面，从而提高相关学习算法的性能。

本文首先提出了群不变孪生支持向量机(Group Invariance-based TWSVM，GI⁃TWSVM)问题。该问题是在TWSVM的基础上引入了群不变性，不仅使得构造出的两个非平行超平面满足原始TWSVM的核心思想，而且还使得分类器具备群不变性性质，以此来提升算法性能。针对该问题，建立了一个一般性最优化问题。其次，以TBSVM为例，分别提出了两种算法：虚拟支持向量TBSVM算法和抖动核TBSVM算法，用来构造具备群不变性的TBSVM分类器，从而说明GI⁃TWSVM问题有解，故有实际意义。然后，为了给GI⁃TWSVM一个理论基础，本文研究了GI⁃TWSVM的一致性。因为GI⁃TWSVM问题是基于结构风险最小化原则提出的，所以通过引入通用一致性(universal consistency)^[21]，定义了该问题基于群不变性的通用一致性（即群不变通用一致性），也就是用群不变通用一致性来描述GI⁃TWSVM的一致性。在此基础上，定义了五种不同的风险，包括群不变风险、群不变贝叶斯风险、L_{\mathrm{1}}^G-和L_{\mathrm{2}}^G-群不变性风险、极小L_{\mathrm{1}}^G-和L_{\mathrm{2}}^G-群不变性风险以及正则化L_{\mathrm{1}}^G-和L_{\mathrm{2}}^G-群不变性风险等。而且推导了GI⁃TWSVM问题的群不变通用一致性成立的条件，并分别从覆盖数、局部覆盖数以及稳定性的角度进行证明。最后，通过实验验证了GI⁃TWSVM问题的有效性。

1　 相关工作

统计学习中的一致性理论是统计学习理论的重要组成部分，旨在从理论上解释机器学习算法的可靠性。一致性研究的重点是希望获得学习算法具有一致性的充分必要条件。尽管实际问题通常只有有限个样本，但具有一致性的学习算法使用的样本越多，就越能重构出更精确的样本空间概率分布函数，从而保证算法随着经验数据的增加得到更可靠的预测结果。因此，研究学习算法的一致性具有重要的理论意义。

Vapnik和Chervonenkis^[22]于1989年定义了经验风险最小化（Empirical Risk Minimization，ERM）原则以及基于ERM原则的一致性，并且通过统计学习关键定理将学习过程的一致收敛问题与ERM原则的一致性问题联系了起来，证明了任意函数集上ERM原则满足一致性的充分必要条件是学习过程满足一致收敛性。之后，Vapnik^[23，24]引入了结构风险最小化（Structural Risk Minimization，SRM）原则，并由此导出了一类寻找最优分类超平面的学习算法，如SVM^[25]和TWSVM^[8]等。

在此基础上，Steinwart^[21]在2005年引入了通用一致性概念，给出了SVM的通用一致性定义，用来说明SVM基于SRM原则的一致性；2021年，Xu等^[26]将大部分二分类TWSVM算法统一到一个具体的最优化问题中，然后分别从覆盖数、局部覆盖数以及稳定性角度研究该最优化问题的通用一致性。2022年，Lin等^[27]从深度学习的角度，研究了深度卷积神经网络的通用一致性。

2　 预备知识

本节介绍一些有用的符号和概念。标记\mathbb{R}=\left(-\mathrm{\infty },+\mathrm{\infty }\right),{\mathbb{R}}^{+}=[\left.\mathrm{0},+\mathrm{\infty }\right)，令X是紧致度量空间。对于半正定核函数k:X\times X\mapsto \mathbb{R}，用H标记其再生核Hilbert空间（Reproducing Kernel Hilbert Space, RKHS），用B_H表示H的闭单位球。令K=\mathrm{s}\mathrm{u}\mathrm{p}\left\{\sqrt[]{k\left(\mathit{x},\mathit{x}\right)}:\mathit{x}\in X\right\}，则K{B}_H是包含H的最小闭球体，该球体中心位于原点，并且包含所有的点\Phi \left(\mathit{x}\right)，其中，\Phi是空间X到H的映射，标记为\Phi :X\mapsto H。映射I:H\mapsto C\left(X\right)定义为，则H可以嵌入到连续函间C\left(X\right)中。假设核函数k连续，则H中的元素也连续。如果映射I是紧致的，那么核函数k是通用核（universal kernel）^[21]。

令\Omega :{\mathbb{R}}^{+}\times {\mathbb{R}}^{+}\mapsto {\mathbb{R}}^{+}是一个递增函数，标记为\Omega \left(c,t\right)。该函数关于变量c在0点连续，关于变量t无界。\Omega是一个正则化函数（regularization function）,具体定义如文献[21]所示。

3　 问题定义与算法

给定训练集S=\left\{\left({\mathit{x}}_{\mathrm{1}},y_{\mathrm{1}}\right),\dots ,\left({\mathit{x}}_m,y_m\right)\right\}\subseteq X\times Y，其中X\subseteq {\mathbb{R}}^d是实例集合，即输入空间，Y=\{\mathrm{1},-\mathrm{1}\}是标签集合，即输出空间。假设集合S是由m_{\mathrm{1}}个正类样本和m_{\mathrm{2}}个负类样本组成（m=m_{\mathrm{1}}+m_{\mathrm{2}}），正类和负类样本分别重新标记为\left({\mathit{x}}_{\mathrm{1}}^{\mathrm{1}},\mathrm{1}\right),\dots ,\left({\mathit{x}}_{{\mathit{m}}_{\mathrm{1}}}^{\mathrm{1}},\mathrm{1}\right),\left({\mathit{x}}_{\mathrm{1}}^{\mathrm{2}},-\mathrm{1}\right),\dots ,({\mathit{x}}_{m_{\mathrm{2}}}^{\mathrm{2}},-\mathrm{1})。假设训练样本关于空间X\times Y的概率P独立同分布。分别标记矩阵{\mathit{A}}^{\mathrm{T}}=({\mathit{x}}_{\mathrm{1}}^{\mathrm{1}},\dots ,{\mathit{x}}_{m_{\mathrm{1}}}^{\mathrm{1}}),{\mathit{B}}^{\mathrm{T}}=({\mathit{x}}_{\mathrm{1}}^{\mathrm{2}},\dots ,{\mathit{x}}_{m_{\mathrm{2}}}^{\mathrm{2}}),{\mathit{D}}^{\mathrm{T}}=({\mathit{A}}^{\mathrm{T}},{\mathit{B}}^{\mathrm{T}})。

3.1　群不变孪生支持向量机

假设样本空间X\times Y存在着群不变性^[7]。对任意样本(\mathit{x},y)施加群作用\mathit{g}\in G，群不变性保证了\mathit{g}\mathit{x}与\mathit{x}具有相同的标签，故生成了新样本\left(\mathit{g}\mathit{x},y\right)\in X\times Y，令(\mathit{g}\mathit{x},y)服从概率分布P^{\text{'}}。给定训练样本\left({\mathit{x}}_i,y_i\right),i=\mathrm{1},\dots ,m，分别对其施加群作用g_i\in G，则生成新的训练样本({\mathit{g}}_i{\mathit{x}}_i,y_i)。标记新的训练集S^{\text{'}}=\left\{\left({\mathit{g}}_{\mathrm{1}}{\mathit{x}}_{\mathrm{1}},y_{\mathrm{1}}\right),\dots ,\left({\mathit{g}}_m{\mathit{x}}_m,y_m\right)\right\}\subseteq X\times Y。类似地，对正类和负类样本重新排序，其对应的群元素也分别重新标记为{\mathit{g}}_i^{\mathrm{1}},i=\mathrm{1},\dots ,m_{\mathrm{1}}和{\mathit{g}}_j^{\mathrm{2}},j=\mathrm{1},\dots ,m_{\mathrm{2}}，此时序列{\mathit{g}}_i^{\mathrm{1}},i=\mathrm{1},\dots ,m_{\mathrm{1}},{\mathit{g}}_j^{\mathrm{2}},j=\mathrm{1},\dots ,m_{\mathrm{2}}是对{\mathit{g}}_{\mathrm{1}},\dots ,{\mathit{g}}_m重新排序得到。

把群不变性加入到TWSVM框架中，就是对训练集S^{\text{'}}构造分类器f\left(\cdot \right)=\left|f_{\mathrm{2}}\left(\cdot \right)\right|-\left|f_{\mathrm{1}}\left(\cdot \right)\right|，使其满足群不变性f\left(\mathit{x}\right)=f\left(\mathit{g}\mathit{x}\right),\forall \mathit{x}\in X,\mathit{g}\in G。本文将该问题定义为群不变孪生支持向量机（GI⁃TWSVM），该问题可描述为：设({\mathit{x}}_{\mathrm{1}},y_{\mathrm{1}}),\dots ,({\mathit{x}}_m,y_m)是空间X\times Y上独立同分布的样本，{\mathit{g}}_{\mathrm{1}},\dots ,{\mathit{g}}_m\in G是分别对应于({\mathit{x}}_{\mathrm{1}},y_{\mathrm{1}}),\dots ,({\mathit{x}}_m,y_m)且独立同分布的未知群元素，GI⁃TWSVM问题的目标是针对正类样本{\mathit{g}}_i^{\mathrm{1}}{\mathit{x}}_i^{\mathrm{1}},i=\mathrm{1},\dots ,m_{\mathrm{1}}和负类样本{\mathit{g}}_j^{\mathrm{2}}{\mathit{x}}_j^{\mathrm{2}},j=\mathrm{1},\dots ,m_{\mathrm{2}}分别构造两个不平行的超平面f_{\mathrm{1}}和f_{\mathrm{2}}，使得每个超平面都尽可能接近某一个类的数据，同时离另一个类的数据距离不小于1，并且使得f_{\mathrm{1}}和f_{\mathrm{2}}均满足群不变性，其中空间X\times Y的概率分布P^{\text{'}}未知。为了符号简化，标记{\mathit{𝒢}}_{\mathrm{1}}=\{{\mathit{g}}_i^{\mathrm{1}}\in G,i=\mathrm{1},\dots ,m_{\mathrm{1}}\}，{\mathit{𝒢}}_{\mathrm{2}}=\{{\mathit{g}}_j^{\mathrm{2}}\in G,j=\mathrm{1},\dots ,m_{\mathrm{2}}\}。因此，GI⁃TWSVM问题的公式可表示为：

\underset{f_{\mathrm{1}}\in H,{\mathit{𝒢}}_{\mathrm{1}},{\mathit{𝒢}}_{\mathrm{2}}}{\mathrm{m}\mathrm{i}\mathrm{n}}{\Omega }^{*}\left(c_{\mathrm{1}},{‖f_{\mathrm{1}}‖}_H\right)+{\displaystyle \sum _{i=\mathrm{1}}^{m_{\mathrm{1}}}}{l}_{\mathrm{1}}\left(\mathrm{1},f_{\mathrm{1}}({\mathit{g}}_i^{\mathrm{1}}{\mathit{x}}_i^{\mathrm{1}})\right)+

{\displaystyle \sum _{j=\mathrm{1}}^{m_{\mathrm{2}}}}{l}_{\mathrm{2}}\left(-\mathrm{1},f_{\mathrm{1}}({\mathit{g}}_j^{\mathrm{2}}{\mathit{x}}_j^{\mathrm{2}}),c_{\mathrm{3}}\right)（1）

\underset{f_{\mathrm{2}}\in H,{\mathit{𝒢}}_{\mathrm{1}},{\mathit{𝒢}}_{\mathrm{2}}}{\mathrm{m}\mathrm{i}\mathrm{n}}{\Omega }^{*}\left(c_{\mathrm{2}},{‖f_{\mathrm{2}}‖}_H\right)+{\displaystyle \sum _{j=\mathrm{1}}^{m_{\mathrm{2}}}}{l}_{\mathrm{1}}\left(-\mathrm{1},f_{\mathrm{2}}({\mathit{g}}_i^{\mathrm{2}}{\mathit{x}}_i^{\mathrm{2}})\right)+

{\displaystyle \sum _{i=\mathrm{1}}^{m_{\mathrm{1}}}}{l}_{\mathrm{2}}\left(\mathrm{1},f_{\mathrm{2}}({\mathit{g}}_j^{\mathrm{1}}{\mathit{x}}_j^{\mathrm{1}}),c_{\mathrm{4}}\right)（2）

其中，c_{\mathrm{1}},c_{\mathrm{2}},c_{\mathrm{3}},c_{\mathrm{4}}是权衡参数；H是RKHS；l_{\mathrm{1}}是关于距离的损失函数，用来度量数据到超平面的距离；l_{\mathrm{2}}是关于松弛变量的损失函数，确保另一个类的数据到该超平面的距离不小于1；{\Omega }^{*}是正则化函数^[21]，用来最大化间隔（间隔如图1所示）。

在（1）式中，l_{\mathrm{1}}\left(\mathrm{1},f_{\mathrm{1}}\left({\mathit{g}}_i^{\mathrm{1}}{\mathit{x}}_i^{\mathrm{1}}\right)\right),i=\mathrm{1},\dots ,m_{\mathrm{1}}度量正类样本{\mathit{x}}_i^{\mathrm{1}}在群元素{\mathit{g}}_i^{\mathrm{1}}作用下的损失，l_{\mathrm{2}}\left(-\mathrm{1},f_{\mathrm{1}}\left({\mathit{g}}_j^{\mathrm{2}}{\mathit{x}}_j^{\mathrm{2}}\right),c_{\mathrm{3}}\right),j=\mathrm{1},\dots ,m_{\mathrm{2}}度量负类样本{\mathit{x}}_j^{\mathrm{2}}在群元素{\mathit{g}}_j^{\mathrm{2}}作用下的损失。这两项求和相加等价于计算整个样本集上的损失，包括正类和负类。为了简化公式，本文重新定义一个新的损失函数L_{\mathrm{1}}^G，使其度量任意一个样本的损失。给定函数p(y)=\left\{\begin{array}{l}\mathrm{1},y=\mathrm{1}\\ \mathrm{0},y=-\mathrm{1}\end{array}\right.，损失函数L_{\mathrm{1}}^G定义为：

L_{\mathrm{1}}^G\left(y,f_{\mathrm{1}}\left(\mathit{g}\mathit{x}\right),c_{\mathrm{3}}\right)=p\left(y\right)l_{\mathrm{1}}\left(y,f_{\mathrm{1}}\left(\mathit{g}\mathit{x}\right)\right)+

\left(\mathrm{1}-p(y)\right)l_{\mathrm{2}}\left(y,f_{\mathrm{1}}\left(\mathit{g}\mathit{x}\right),c_{\mathrm{3}}\right)=

\left\{\begin{array}{l}{l}_{\mathrm{1}}\left(\mathrm{1},f_{\mathrm{1}}\left(\mathit{g}\mathit{x}\right)\right),y=\mathrm{1}\\ l_{\mathrm{2}}\left(-\mathrm{1},f_{\mathrm{1}}\left(\mathit{g}\mathit{x}\right),c_{\mathrm{3}}\right),y=-\mathrm{1}\end{array}\right.（3）

类似地，在（2）式中，定义新的损失函数L_{\mathrm{2}}^G：

L_{\mathrm{2}}^G\left(y,f_{\mathrm{2}}\left(\mathit{g}\mathit{x}\right),c_{\mathrm{4}}\right)=\left(\mathrm{1}-p\left(y\right)\right)l_{\mathrm{1}}\left(y,f_{\mathrm{2}}\left(\mathit{g}\mathit{x}\right)\right)+

p\left(y\right)l_{\mathrm{2}}\left(y,f_{\mathrm{2}}\left(\mathit{g}\mathit{x}\right),c_{\mathrm{4}}\right)=

\left\{\begin{array}{l}{l}_{\mathrm{2}}\left(\mathrm{1},f_{\mathrm{2}}\left(\mathit{g}\mathit{x}\right),c_{\mathrm{4}}\right),y=\mathrm{1}\\ l_{\mathrm{1}}\left(-\mathrm{1},f_{\mathrm{2}}\left(\mathit{g}\mathit{x}\right)\right),y=-\mathrm{1}\end{array}\right.（4）

同时考虑到参数m表示样本数量已知，故GI⁃TWSVM的最优化问题可简化为：

\left\{\begin{array}{l}\underset{f_{\mathrm{1}}\in H,{\mathit{𝒢}}_{\mathrm{1}},{\mathit{𝒢}}_{\mathrm{2}}}{\mathrm{m}\mathrm{i}\mathrm{n}}\frac{\mathrm{1}}{m}{\displaystyle \sum _{i=\mathrm{1}}^m}{L}_{\mathrm{1}}^G\left(y_i,f_{\mathrm{1}}\left({\mathit{g}}_i{\mathit{x}}_i\right),c_{\mathrm{3}}\right)+\Omega \left(c_{\mathrm{1}},{‖f_{\mathrm{1}}‖}_H\right)\\ \underset{f_{\mathrm{2}}\in H,{\mathit{𝒢}}_{\mathrm{1}},{\mathit{𝒢}}_{\mathrm{2}}}{\mathrm{m}\mathrm{i}\mathrm{n}}\frac{\mathrm{1}}{m}{\displaystyle \sum _{i=\mathrm{1}}^m}{L}_{\mathrm{2}}^G\left(y_i,f_{\mathrm{2}}\left({\mathit{g}}_i{\mathit{x}}_i\right),c_{\mathrm{4}}\right)+\Omega \left(c_{\mathrm{2}},{‖f_{\mathrm{2}}‖}_H\right)\end{array}\right.（5）

其中，\Omega \left(\bullet ,\bullet \right)=\frac{\mathrm{1}}{m}{\Omega }^{\mathrm{*}}(\bullet ,\bullet )。显然，\Omega \left(\bullet ,\bullet \right)也是一个正则化函数。因此，最优化问题（5）就是GI⁃TWSVM的一般模型。

3.2　GI⁃TWSVM算法

GI⁃TWSVM的一般模型（5）包含两个最小化问题，并且每个最小化问题都需要求解相同的变量{\mathit{g}}_{\mathrm{1}},\dots ,{\mathit{g}}_m\in G。如果将这两个最小化问题分开考虑，单独求解，那么将会得到关于{\mathit{g}}_{\mathrm{1}},\dots ,{\mathit{g}}_m的两组最优解，而这两组最优解不一定相等。也就是，两个最小化问题分别对样本{\mathit{x}}_i,i=\mathrm{1},\dots ,m做了两种不同的群变换，这与GI⁃TWSVM问题的描述矛盾。这一现象表明在求解最优化问题（5）时，必须要同时求解这两个最小化问题，这就导致了该问题的一般解形式很难直接推导。因此，针对GI⁃TWSVM的一般模型，通常只考虑GI⁃TWSVM框架下具体学习算法的求解。本文以TBSVM为例，研究如何把群不变性加入到TBSVM算法中，并求解具备群不变性的分类器。

3.2.1　虚拟支持向量TBSVM算法

考虑基于训练集获得的群不变性。一般对训练样本多次应用群不变性，生成新样本，并且新样本的标签与原始样本相同，将生成的新样本称为虚拟样本，再把虚拟样本加入到原始数据集内，扩大了数据集。但是一方面，原始数据集的数据量增大往往会导致模型计算代价的迅速增大；另一方面，TBSVM分类器的位置是由其支持向量决定的，只在支持向量集上训练出的分类器运行效果并不会比在整个训练集上训练出的分类器差。所以，为了降低计算代价，只需要对支持向量加入群不变性，生成虚拟样本。这些虚拟样本被称为虚拟支持向量，由此得到虚拟支持向量TBSVM算法。该算法分三步进行：首先，在训练集S上求解TBSVM，找到分类器的支持向量；其次，对支持向量加入群不变性，生成虚拟支持向量；最后，在虚拟支持向量集求解TBSVM，输出模型参数，具体描述见算法1。

算法1两次调用已知的TBSVM算法^[10]，第一次直接在整个训练集S上调用，而第二次是在生成的虚拟支持向量集上调用。所以该算法的关键是如何寻找支持向量。假设TBSVM算法在训练集S上训练出两个非平行超平面{\overline{f}}_{\mathrm{1}}(\mathit{x})\triangleq k\left({\mathit{x}}^{\mathrm{T}},{\mathit{D}}^{\mathrm{T}}\right){\mathit{w}}_{\mathrm{1}}+b_{\mathrm{1}}=\mathrm{0}和{\overline{f}}_{\mathrm{2}}(\mathit{x})\triangleq k\left({\mathit{x}}^{\mathrm{T}},{\mathit{D}}^{\mathrm{T}}\right){\mathit{w}}_{\mathrm{2}}+b_{\mathrm{2}}=\mathrm{0}（如图2所示）。左边实线为超平面{\overline{f}}_{\mathrm{1}}\left(\bullet \right)=\mathrm{0}，使得所有正类样本离它的距离尽可能小，右边虚线为超平面{\overline{f}}_{\mathrm{1}}\left(\bullet \right)=-\mathrm{1}，保证了所有负类样本都尽可能被正确分类；右边实线为超平面{\overline{f}}_{\mathrm{2}}\left(\bullet \right)=\mathrm{0}，使得所有负类样本离它的距离尽可能小，左边虚线为超平面{\overline{f}}_{\mathrm{2}}\left(\bullet \right)=\mathrm{1}，保证了所有正类样本都尽可能被正确分类。综上所述，通过调用TBSVM算法可以得到正类支持向量集\mathrm{S}{\mathrm{V}}_{\mathrm{1}}=\left\{\mathit{x}\in S:{\overline{f}}_{\mathrm{1}}(\mathit{x})=\mathrm{0}\mathrm{或者}{\overline{f}}_{\mathrm{2}}(\mathit{x})=\mathrm{1}\right\}和负类支持向量集\mathrm{S}{\mathrm{V}}_{\mathrm{2}}=\left\{\mathit{x}\in S:{\overline{f}}_{\mathrm{1}}\left(\mathit{x}\right)=-\mathrm{1}\mathrm{或者}{\overline{f}}_{\mathrm{2}}\left(\mathit{x}\right)=\mathrm{0}\right\}，如图2所示。

虚拟支持向量TBSVM算法对群不变性的应用非常简单，直接在训练样本上应用群不变性，生成多个虚拟样本，从而扩大数据集。该算法并没有对生成的虚拟样本进行分析，以寻找最优的虚拟样本，也就是说，该算法没有涉及到最优群元素的选择。

3.2.2　抖动核TBSVM算法

本小节考虑基于目标函数获得的群不变性，即构造具备群不变性的目标函数。TBSVM分类器f可以用核函数来表示，其中f\left(\bullet \right)=\left|f_{\mathrm{2}}\left(\bullet \right)\right|-\left|f_{\mathrm{1}}\left(\bullet \right)\right|，f_{\mathrm{1}}\left(\mathit{x}\right)=k\left({\mathit{x}}^{\mathrm{T}},{\mathit{D}}^{\mathrm{T}}\right){\mathit{w}}_{\mathrm{1}}+b_{\mathrm{1}}，f_{\mathrm{2}}(\mathit{x})=k\left({\mathit{x}}^{\mathrm{T}},{\mathit{D}}^{\mathrm{T}}\right){\mathit{w}}_{\mathrm{2}}+b_{\mathrm{2}}；如果核函数k具备群不变性k\left(\mathit{x},{\mathit{x}}^{\text{'}}\right)=k\left(\mathit{g}\mathit{x},{\mathit{x}}^{\text{'}}\right),\forall \mathit{x},{\mathit{x}}^{\text{'}}\in X,\mathit{g}\in G，那么分类器f\left(\bullet \right)同样具备群不变性f\left(\mathit{x}\right)=f(\mathit{g}\mathit{x})。这一事实表明，基于目标函数获得的群不变性研究的关键在于如何构造具备群不变性的核函数。这里考虑一种最简单的抖动核（jittering kernel）^[28]。抖动核是从众多虚拟样本中选择一个最优的虚拟样本，从而对原始核函数进行修正。标记原始核函数为k^{\mathrm{o}\mathrm{r}\mathrm{i}}(\bullet ,\bullet )，抖动核函数为k^{\mathrm{J}}(\bullet ,\bullet )。抖动核TBSVM算法分两步，首先把TBSVM分类器的核函数修正为抖动核函数，再基于该抖动核构造相应的TBSVM分类器，具体步骤如算法2所示。

算法2的目标是通过群不变性计算样本x的所有抖动形式\mathit{g}\mathit{x},\mathit{g}\in G，并根据距离公式d^{\mathrm{k}\mathrm{e}\mathrm{r}}(\bullet ,\bullet )寻找最优群元素，从而修正原始核函数。所以该算法的关键在于如何定义两点之间的距离公式。注意，样本首先需要通过原始核函数映射到特征空间，特征映射为\Phi :X\mapsto H，故而两点之间的距离可以根据其特征空间中的欧几里得距离来计算。因此，{\mathit{x}}_i和{\mathit{x}}_j之间的距离定义为：

\begin{array}{l}{d}^{\mathrm{k}\mathrm{e}\mathrm{r}}\left({\mathit{x}}_i,{\mathit{x}}_j\right)={‖\Phi \left({\mathit{x}}_i\right)-\Phi \left({\mathit{x}}_j\right)‖}_F=\\ \sqrt[]{{\left(\Phi \left({\mathit{x}}_i\right)-\Phi \left({\mathit{x}}_j\right)\right)}^{\mathrm{T}}\left(\Phi \left({\mathit{x}}_i\right)-\Phi \left({\mathit{x}}_j\right)\right)}=\end{array}

\sqrt[]{\Phi {\left({\mathit{x}}_i\right)}^T\Phi \left({\mathit{x}}_i\right)-\mathrm{2}\Phi {\left({\mathit{x}}_i\right)}^T\Phi \left({\mathit{x}}_j\right)+\Phi {\left({\mathit{x}}_j\right)}^T\Phi \left({\mathit{x}}_j\right)}=

\sqrt[]{k^{ori}\left({\mathit{x}}_i,{\mathit{x}}_i\right)-\mathrm{2}{k}^{ori}\left({\mathit{x}}_i,{\mathit{x}}_j\right)+k^{ori}\left({\mathit{x}}_j,{\mathit{x}}_j\right)}（6）

以上两种算法的原理同样可以运用到TWSVM的其他变种上，只需要在具体算法中将TBSVM分类器改为其他的TWSVM变种分类器（如加权TWSVM、光滑TWSVM、最小二乘TWSVM、鲁棒TWSVM、拉普拉斯TWSVM、基于密度的TWSVM以及基于字典学习的TWSVM等）。综上所述，把群不变性引入到TWSVM框架中，形成的GI⁃TWSVM问题有解，故有实际意义。

4　 GI⁃TWSVM的群不变通用一致性

4.1　相关定义

给定训练集S和群G，记生成的新训练集为S^{\text{'}}。令可测函数f_{S^{\text{'}}}:X\mapsto \mathbb{R}是GI⁃TWSVM的分类器，其中，f_{S^{\text{'}}}(\mathit{x})=|f_{\mathrm{2},S^{\text{'}}}(\mathit{x})|-|f_{\mathrm{1},S^{\text{'}}}(\mathit{x})|,f_{\mathrm{1},S^{\text{'}}}:X\mapsto \mathbb{R}和f_{\mathrm{2},S^{\text{'}}}:X\mapsto \mathbb{R}分别是最优化问题（5）构造的两个非平行超平面。要使分类器f_{S^{\text{'}}}运行良好，就需要使分类错误的概率保证在一个极小范围内。任取一个新样本(\mathit{x},y)及其相应群元素\mathit{g}\in G，分类错误表示为\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}\left(f_{S^{\text{'}}}\left(\mathit{g}\mathit{x}\right)\right)\ne y。对于最优化问题（5），为了准确描述GI⁃TWSVM的群不变通用一致性，首先引入GI⁃TWSVM基于群不变性的风险和贝叶斯风险，分别简称为群不变风险和群不变贝叶斯风险，具体定义如下。

定义1（群不变风险） 给定群G和空间X\times Y上未知的概率分布P^{\mathrm{\text{'}}}，从P^{\mathrm{\text{'}}}上任取一个样本(\mathit{g}\mathit{x},y)，则可测函数f:X\mapsto \mathbb{R}的群不变风险是新样本(\mathit{g}\mathit{x},y)分类错误的概率，即：

R_{P^{\text{'}}}^G\left(f\right)=P^{\mathrm{\text{'}}}\left\{\left(\mathit{g}\mathit{x},y\right):\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}\left(f\left(\mathit{g}\mathit{x}\right)\right)\ne y\right\}（7）

其中，f(\bullet )=|f_{\mathrm{2}}(\bullet )|-|f_{\mathrm{1}}(\bullet )|,f_{\mathrm{1}}:X\mapsto \mathbb{R}和f_{\mathrm{2}}:X\mapsto \mathbb{R}都是可测函数。

定义2（群不变贝叶斯风险） 给定群G和空间X\times Y上未知的概率分布P^{\mathrm{\text{'}}}，则群不变贝叶斯风险是群不变风险关于f的极小值，即：

R_{P^{\text{'}}}^G=\mathrm{i}\mathrm{n}\mathrm{f}\left\{R_{P^{\text{'}}}^G\left(f\right)|f:X\mapsto \mathbb{R}\mathrm{可测}\right\}（8）

其中，f(\bullet )=|f_{\mathrm{2}}(\bullet )|-|f_{\mathrm{1}}(\bullet )|,f_{\mathrm{1}}:X\mapsto \mathbb{R}和f_{\mathrm{2}}:X\mapsto \mathbb{R}都是可测函数。

群不变贝叶斯风险R_{P^{\text{'}}}^G是群不变风险的极小值，也是空间X\times Y关于分布P^{\text{'}}可能的极小风险值。给定训练集S^{\text{'}}，要使分类错误的概率保证在极小范围内，就必须要使分类器f_{S^{\text{'}}}的群不变风险R_{P^{\text{'}}}^G(f_{S^{\text{'}}})最接近可能的极小风险值。由此给出了GI⁃TWSVM的群不变通用一致性定义，具体描述如下：

定义3（群不变通用一致性） 给定训练集S^{\text{'}}、群G和空间X\times Y上未知的概率分布P^{\text{'}}，如果等式（9）关于P^{\text{'}}依概率成立，那么分类器f_{S^{\text{'}}}是群不变通用一致的。

\underset{m\to \mathrm{\infty }}{\mathrm{l}\mathrm{i}\mathrm{m}}{R}_{P^{\text{'}}}^G\left(f_{S^{\text{'}}}\right)=R_{P^{\text{'}}}^G（9）

其中，f_{S^{\text{'}}}(\mathit{x})=|f_{\mathrm{2},S^{\text{'}}}(\mathit{x})|-|f_{\mathrm{1},S^{\text{'}}}(\mathit{x})|,f_{\mathrm{1},S^{\text{'}}}:X\mapsto \mathbb{R}和f_{\mathrm{2},S^{\text{'}}}:X\mapsto \mathbb{R}都是可测函数。更进一步，如果（9）式几乎处处成立，那么分类器f_{S^{\text{'}}}是群不变通用强一致的。

给定GI⁃TWSVM的分类器f_{S^{\text{'}}}，群不变风险R_{P^{\text{'}}}^G(f_{S^{\text{'}}})是可计算得到的风险，而群不变贝叶斯风险R_{P^{\text{'}}}^G是可能的极小风险。由定义3可知，如果R_{P^{\text{'}}}^G(f_{S^{\text{'}}})依概率收敛到R_{P^{\text{'}}}^G，那么分类器f_{S^{\text{'}}}是群不变通用一致的。

4.2　断言\mathcal{C}

GI⁃TWSVM是基于TWSVM提出的，其最优化问题（5）与TWSVM的最优化问题^[26]的差别在于：1） 数据集的变化，SVM是对训练集S构造超平面，而GI⁃TWSVM则是通过群G将训练集S转化为训练集S^{\text{'}}，然后对S^{\text{'}}构造超平面，并且S已知，S^{\text{'}}未知；2） 模型参数的变化导致最优化问题求解方式的不同，TWSVM的两个最小化问题分别包含模型参数f_{\mathrm{1}},f_{\mathrm{2}}，可以通过对这两个最小化问题分别求解得到；而GI⁃TWSVM的两个最小化问题除了模型参数f_{\mathrm{1}},f_{\mathrm{2}}，还包含群元素{\mathit{𝒢}}_{\mathrm{1}},{\mathit{𝒢}}_{\mathrm{2}}，并且{\mathit{𝒢}}_{\mathrm{1}},{\mathit{𝒢}}_{\mathrm{2}}同时出现在这两个最小化问题中，因此必须同时求解这两个最小化问题，不能单独求解。除此之外，GI⁃TWSVM和TWSVM的模型框架保持高度的相似性。综上所述，本文在研究GI⁃TWSVM的群不变通用一致性时，参考了TWSVM证明一致性的方法^[26]，故定义了断言\mathit{𝒞}。为此，针对最优化问题（5）的两个最小化问题，分别引入损失函数L_{\mathrm{1}}^G-和L_{\mathrm{2}}^G-的群不变风险和极小群不变风险，具体定义如下：

定义4（L{}_{\mathrm{1}}^{\mathit{G}}-和L{}_{\mathrm{2}}^{\mathit{G}}-群不变风险） 给定损失函数L_{\mathrm{1}}^G和L_{\mathrm{2}}^G、空间X\times Y的未知概率分布P^{\text{'}}，L_{\mathrm{1}}^G‒群不变风险是损失函数L_{\mathrm{1}}^G关于超平面f_{\mathrm{1}}的期望值，L_{\mathrm{2}}^G‒群不变风险是损失函数L_{\mathrm{2}}^G关于超平面f_{\mathrm{2}}的期望值，即：

\left\{\begin{array}{l}{R}_{\mathrm{1},P^{\text{'}}}^G\left(f_{\mathrm{1}}\right)=E_{\left(\mathit{g}\mathit{x},y\right)\sim P^{\text{'}}}{L}_{\mathrm{1}}^G\left(y,f_{\mathrm{1}}\left(\mathit{g}\mathit{x}\right),c_{\mathrm{3}}\right)\\ R_{\mathrm{2},P^{\text{'}}}^G\left(f_{\mathrm{2}}\right)=E_{\left(\mathit{g}\mathit{x},y\right)\sim P^{\text{'}}}{L}_{\mathrm{2}}^G\left(y,f_{\mathrm{2}}\left(\mathit{g}\mathit{x}\right),c_{\mathrm{4}}\right)\end{array}\right.（10）

其中，f_{\mathrm{1}}:X\mapsto \mathbb{R}和f_{\mathrm{2}}:X\mapsto \mathbb{R}均可测。

定义5（极小L{}_{\mathrm{1}}^{\mathit{G}}-和L{}_{\mathrm{2}}^{\mathit{G}}-群不变风险） 给定损失函数L_{\mathrm{1}}^G和L_{\mathrm{2}}^G、空间X\times Y的未知概率分布P^{\text{'}}，极小L_{\mathrm{1}}^G‒和L_{\mathrm{2}}^G‒群不变风险分别是L_{\mathrm{1}}^G‒群不变风险和L_{\mathrm{2}}^G‒群不变风险的极小值，即：

\left\{\begin{array}{l}{R}_{\mathrm{1},P^{\text{'}}}^G=\mathrm{i}\mathrm{n}\mathrm{f}\left\{R_{\mathrm{1},P^{\text{'}}}^G\left(f_{\mathrm{1}}\right)|f_{\mathrm{1}}:X\mapsto \mathbb{R}\mathrm{可测}\right\}\\ R_{\mathrm{2},P^{\text{'}}}^G=\mathrm{i}\mathrm{n}\mathrm{f}\left\{R_{\mathrm{2},P^{\text{'}}}^G\left(f_{\mathrm{2}}\right)|f_{\mathrm{2}}:X\mapsto \mathbb{R}\mathrm{可测}\right\}\end{array}\right.（11）

L_{\mathrm{1}}^G‒（或L_{\mathrm{2}}^G-）群不变风险是损失函数L_{\mathrm{1}}^G（或L_{\mathrm{2}}^G）关于分布P^{\text{'}}的期望风险，而极小L_{\mathrm{1}}^G‒（或L_{\mathrm{2}}^G‒）群不变风险则对应于该期望风险关于分类器f_{\mathrm{1}}（或f_{\mathrm{2}}）的最小值，这也是GI⁃TWSVM关于分类器f_{\mathrm{1}}（或f_{\mathrm{2}}）的可能极小期望风险。由于最优化问题（5）的两个最小化问题都包含正则化函数\Omega，因此，在分析群不变风险时还需考虑相应的正则化群不变风险，即把正则化函数\Omega分别加入到L_{\mathrm{1}}^G‒和L_{\mathrm{2}}^G‒群不变风险中，具体定义如下：

定义6（正则化L{}_{\mathrm{1}}^{\mathit{G}}-和L{}_{\mathrm{2}}^{\mathit{G}}-群不变风险） 给定损失函数L_{\mathrm{1}}^G和L_{\mathrm{2}}^G、空间X\times Y的未知概率分布P^{\text{'}}、正则化函数\Omega和H，对任意c_{\mathrm{1}},c_{\mathrm{2}}>\mathrm{0}， f_{\mathrm{1}}，f_{\mathrm{2}}\in H，正则化L_{\mathrm{1}}^G‒群不变风险和正则化L_{\mathrm{2}}^G‒群不变风险分别定义为：

\left\{\begin{array}{l}{R}_{\mathrm{1},P^{\text{'}},c_{\mathrm{1}}}^{\mathrm{r}\mathrm{e}\mathrm{g},G}\left(f_{\mathrm{1}}\right)=R_{\mathrm{1},P^{\text{'}}}^G\left(f_{\mathrm{1}}\right)+\Omega \left(c_{\mathrm{1}},{‖f_{\mathrm{1}}‖}_H\right)\\ R_{\mathrm{2},P^{\text{'}},c_{\mathrm{2}}}^{\mathrm{r}\mathrm{e}\mathrm{g},G}\left(f_{\mathrm{2}}\right)=R_{\mathrm{2},P^{\text{'}}}^G\left(f_{\mathrm{2}}\right)+\Omega \left(c_{\mathrm{2}},{‖f_{\mathrm{2}}‖}_H\right)\end{array}\right.（12）

其中，f_{\mathrm{1}}:X\mapsto \mathbb{R}和f_{\mathrm{2}}:X\mapsto \mathbb{R}均可测。

若P^{\text{'}}是关于训练集S^{\text{'}}的经验测度，则L_{\mathrm{1}}^G‒群不变风险、L_{\mathrm{2}}^G‒群不变风险、正则化L_{\mathrm{1}}^G‒群不变风险和正则化L_{\mathrm{2}}^G‒群不变风险的符号可分别写作R_{\mathrm{1},S^{\text{'}}}^G\left(f_{\mathrm{1}}\right),R_{\mathrm{2},S^{\text{'}}}^G\left(f_{\mathrm{2}}\right),R_{\mathrm{1},S^{\text{'}},c_{\mathrm{1}}}^{\mathrm{r}\mathrm{e}\mathrm{g},G}\left(f_{\mathrm{1}}\right),R_{\mathrm{2},S^{\text{'}},c_{\mathrm{2}}}^{\mathrm{r}\mathrm{e}\mathrm{g},G}\left(f_{\mathrm{2}}\right)。下面引入断言\mathit{𝒞}，具体描述如下。

定义7（断言\mathcal{C}） 断言\mathit{𝒞}被归纳为四步：

第一步 给定空间X\times Y上未知的概率分布P^{\text{'}}，证明f_{\mathrm{1},P^{\text{'}},c_{\mathrm{1}}}和f_{\mathrm{2},P^{\text{'}},c_{\mathrm{2}}}的存在性，其中f_{\mathrm{1},P^{\text{'}},c_{\mathrm{1}}}和f_{\mathrm{2},P^{\text{'}},c_{\mathrm{2}}}分别可以通过最小化正则化L_{\mathrm{1}}^G‒群不变风险和正则化L_{\mathrm{2}}^G‒群不变风险得到。

第二步 证明当c_{\mathrm{1}}趋于0时，极小L_{\mathrm{1}}^G‒群不变风险可以通过正则化L_{\mathrm{1}}^G‒群不变风险，在f_{\mathrm{1},P^{\text{'}},c_{\mathrm{1}}}点取到；当c_{\mathrm{2}}趋于0时，极小L_{\mathrm{2}}^G‒群不变风险可以通过正则化L_{\mathrm{2}}^G‒群不变风险，在f_{\mathrm{2},P^{\text{'}},c_{\mathrm{2}}}点取到，即：

\left\{\begin{array}{l}\underset{c_{\mathrm{1}}\to \mathrm{0}}{\mathrm{l}\mathrm{i}\mathrm{m}}{R}_{\mathrm{1},P^{\text{'}},c_{\mathrm{1}}}^{\mathrm{r}\mathrm{e}\mathrm{g},G}\left(f_{\mathrm{1},P^{\text{'}},c_{\mathrm{1}}}\right)=R_{\mathrm{1},P^{\text{'}}}^G\\ \underset{c_{\mathrm{2}}\to \mathrm{0}}{\mathrm{l}\mathrm{i}\mathrm{m}}{R}_{\mathrm{2},P^{\text{'}},c_{\mathrm{2}}}^{\mathrm{r}\mathrm{e}\mathrm{g},G}\left(f_{\mathrm{2},P^{\text{'}},c_{\mathrm{2}}}\right)=R_{\mathrm{2},P^{\text{'}}}^G\end{array}\right.（13）

第三步 给定可容许损失函数L_{\mathrm{1}}^G和L_{\mathrm{2}}^G，证明对于所有可测函数序列f_{\mathrm{1},m}:X\mapsto \mathbb{R}和f_{\mathrm{1},m}:X\mapsto \mathbb{R}，若等式

\left\{\begin{array}{l}\underset{m\to \mathrm{\infty }}{\mathrm{l}\mathrm{i}\mathrm{m}}{R}_{\mathrm{1},P^{\text{'}}}^G\left(f_{\mathrm{1},m}\right)=R_{\mathrm{1},P^{\text{'}}}^G\\ \underset{m\to \mathrm{\infty }}{\mathrm{l}\mathrm{i}\mathrm{m}}{R}_{\mathrm{2},P^{\text{'}}}^G\left(f_{\mathrm{2},m}\right)=R_{\mathrm{2},P^{\text{'}}}^G\end{array}\right.（14）

成立，则群不变贝叶斯风险可以通过序列f_m=|f_{\mathrm{2},m}|-|f_{\mathrm{1},m}|计算得到，即：

\underset{m\to \mathrm{\infty }}{\mathrm{l}\mathrm{i}\mathrm{m}}{R}_{P^{\text{'}}}^G\left(f_m\right)=R_{P^{\text{'}}}^G（15）

第四步 对于点f_{\mathrm{1},S^{\text{'}},c_{\mathrm{1}}}，通过一个中心不等式将L_{\mathrm{1}}^G‒群不变风险R_{\mathrm{1},P^{\text{'}}}^G\left(f_{\mathrm{1},S^{\text{'}},c_{\mathrm{1}}}\right)与L_{\mathrm{1}}^G‒群不变经验风险R_{\mathrm{1},S^{\text{'}}}^G\left(f_{\mathrm{1},S^{\text{'}},c_{\mathrm{1}}}\right)关联起来；对于点f_{\mathrm{2},S^{\text{'}},c_{\mathrm{2}}}，通过另一个中心不等式将L_{\mathrm{2}}^G‒群不变风险R_{\mathrm{2},P^{\text{'}}}^G\left(f_{\mathrm{2},S^{\text{'}},c_{\mathrm{2}}}\right)与L_{\mathrm{2}}^G‒群不变经验风险R_{\mathrm{2},S^{\text{'}}}^G\left(f_{\mathrm{2},S^{\text{'}},c_{\mathrm{2}}}\right)关联起来。最后，通过这两个中心不等式推导GI⁃TWSVM的群不变通用一致性。

断言\mathit{𝒞}具体解释了GI⁃TWSVM群不变通用一致性的推导过程：首先，根据第一步，找到两点f_{\mathrm{1},S^{\text{'}},c_{\mathrm{1}}}=\mathrm{a}\mathrm{r}\mathrm{g}\underset{f_{\mathrm{1}}\in H}{\mathrm{m}\mathrm{i}\mathrm{n}}{R}_{\mathrm{1},S^{\text{'}},c_{\mathrm{1}}}^{\mathrm{r}\mathrm{e}\mathrm{g},G}\left(f_{\mathrm{1}}\right)和f_{\mathrm{2},S^{\text{'}},c_{\mathrm{2}}}=\mathrm{a}\mathrm{r}\mathrm{g}\underset{f_{\mathrm{2}}\in H}{\mathrm{m}\mathrm{i}\mathrm{n}}{R}_{\mathrm{2},S^{\text{'}},c_{\mathrm{2}}}^{\mathrm{r}\mathrm{e}\mathrm{g},G}\left(f_{\mathrm{2}}\right)，并证明这两点的存在性；其次，考虑事件\left|R_{\mathrm{1},S^{\text{'}}}^G\left(f_{\mathrm{1},S^{\text{'}},c_{\mathrm{1}}}\right)\right.-\left.R_{\mathrm{1},P^{\text{'}}}^G\left(f_{\mathrm{1},S^{\text{'}},c_{\mathrm{1}}}\right)\right|\ge ϵ和事件\left|R_{\mathrm{2},S^{\text{'}}}^G\left(f_{\mathrm{2},S^{\text{'}},c_{\mathrm{2}}}\right)-\right.R_{\mathrm{2},P^{\text{'}}}^G\left(f_{\mathrm{2},S^{\text{'}},c_{\mathrm{2}}}\right)\ge ϵ，通过Hoeffding不等式分别计算事件发生的概率上界，该不等式就是第四步所需的中心不等式；然后，将这两个概率上界分别趋于0，根据第二步的结论，就有第三步的条件成立；最后，应用第三步的结论，则可证明GI⁃TWSVM的群不变通用一致性成立。因此，只要断言\mathit{𝒞}的每一步都成立，GI⁃TWSVM的群不变通用一致性就一定成立。

4.3　理论结果

本节深入分析断言\mathit{𝒞}，并证明断言\mathit{𝒞}的每一步都成立。首先，用三个定理分别证明断言\mathit{𝒞}的前三步成立。然后，针对第四步，分别从覆盖数、局部覆盖数以及稳定性的角度出发，推导相应的中心不等式，从而证明GI⁃TWSVM的群不变通用一致性成立。由于论文篇幅有限，本文定理和引理的证明见附加材料。

4.3.1　断言\mathit{𝒞}的前三步证明

令k是半正定核函数，记K=\underset{\mathit{x}\in X}{\mathrm{s}\mathrm{u}\mathrm{p}}\sqrt[]{k(\mathit{x},\mathit{x})}。对任意c_{\mathrm{1}},c_{\mathrm{2}}>\mathrm{0}，标记

{\delta }_{c_{\mathrm{1}}}^G=\mathrm{s}\mathrm{u}\mathrm{p}\left\{t:\Omega \left(c_{\mathrm{1}},t\right)\right.\le L_{\mathrm{1}}^G\left(\mathrm{1,0},c_{\mathrm{3}}\right)+\left.L_{\mathrm{1}}^G\left(-\mathrm{1,0},c_{\mathrm{3}}\right)\right\}，

L_{\mathrm{1},c_{\mathrm{1}}}^G={L_{\mathrm{1}}^G}_{|Y\times \left[-{\delta }_{c_{\mathrm{1}}}^{G}K,{\delta }_{c_{\mathrm{1}}}^{G}K\right]\times c_{\mathrm{3}}}

{\delta }_{c_{\mathrm{1}}}^G=\mathrm{s}\mathrm{u}\mathrm{p}\left\{t:\Omega \left(c_{\mathrm{2}},t\right)\right.\le L_{\mathrm{2}}^G\left(\mathrm{1,0},c_{\mathrm{4}}\right)+\left.L_{\mathrm{2}}^G\left(-\mathrm{1,0},c_{\mathrm{4}}\right)\right\}，

L_{\mathrm{2},c_{\mathrm{2}}}^G={L_{\mathrm{2}}^G}_{|Y\times [-{\delta }_{c_{\mathrm{2}}}^{G}K,{\delta }_{c_{\mathrm{2}}}^{G}K]\times c_{\mathrm{4}}}（16）

由正则化函数定义^[21]可知，令{\widehat{\delta }}_{\mathrm{1}}^G=\underset{c_{\mathrm{1}}\in (\mathrm{0},\mathrm{1}]}{\mathrm{i}\mathrm{n}\mathrm{f}}{\delta }_{c_{\mathrm{1}}}^G>\mathrm{0},{\widehat{\delta }}_{\mathrm{2}}^G=\underset{c_{\mathrm{2}}\in (\mathrm{0},\mathrm{1}]}{\mathrm{i}\mathrm{n}\mathrm{f}}{\delta }_{c_{\mathrm{2}}}^G>\mathrm{0}。标记：

\begin{array}{l}{\left|L_{\mathrm{1},c_{\mathrm{1}}}^G\right|}_{\mathrm{1}}=\mathrm{s}\mathrm{u}\mathrm{p}\left\{\frac{\left|L_{\mathrm{1},c_{\mathrm{1}}}^G\left(y,t,c_{\mathrm{3}}\right)-L_{\mathrm{1},c_{\mathrm{1}}}^G\left(y,t^{\text{'}},c_{\mathrm{3}}\right)\right|}{t-t^{\text{'}}}:t,t^{\text{'}}\in \left[-{\delta }_{c_{\mathrm{1}}}^{G}K,{\delta }_{c_{\mathrm{1}}}^{G}K\right],t\ne t^{\text{'}},y\in Y\right\}\\ {\left|L_{\mathrm{2},c_{\mathrm{2}}}^G\right|}_{\mathrm{1}}=\mathrm{s}\mathrm{u}\mathrm{p}\left\{\frac{\left|L_{\mathrm{2},c_{\mathrm{2}}}^G\left(y,t,c_{\mathrm{4}}\right)-L_{\mathrm{2},c_{\mathrm{2}}}^G\left(y,t^{\text{'}},c_{\mathrm{4}}\right)\right|}{t-t^{\text{'}}}:t,t^{\text{'}}\in \left[-{\delta }_{c_{\mathrm{2}}}^{G}K,{\delta }_{c_{\mathrm{2}}}^{G}K\right],t\ne t^{\text{'}},y\in Y\right\}\end{array}（17）

定理1 令L_{\mathrm{1}}^G和L_{\mathrm{2}}^G是可容许损失函数，\Omega是正则化函数，k是空间X上的连续核函数。给定空间X\times Y的概率分布P^{\text{'}},c_{\mathrm{1}},c_{\mathrm{2}}>\mathrm{0}，则存在f_{\mathrm{1},P^{\text{'}},c_{\mathrm{1}}},f_{\mathrm{2},P^{\text{'}},c_{\mathrm{2}}}，使得

\left\{\begin{array}{l}{R}_{\mathrm{1},P^{\text{'}},c_{\mathrm{1}}}^{\mathrm{r}\mathrm{e}\mathrm{g},G}\left(f_{\mathrm{1},P^{\text{'}},c_{\mathrm{1}}}\right)=\underset{f_{\mathrm{1}}\in H}{\mathrm{i}\mathrm{n}\mathrm{f}}{R}_{\mathrm{1},P^{\text{'}},c_{\mathrm{1}}}^{\mathrm{r}\mathrm{e}\mathrm{g},G}\left(f_{\mathrm{1}}\right)\\ R_{\mathrm{2},P^{\text{'}},c_{\mathrm{2}}}^{\mathrm{r}\mathrm{e}\mathrm{g},G}\left(f_{\mathrm{2},P^{\text{'}},c_{\mathrm{2}}}\right)=\underset{f_{\mathrm{2}}\in H}{\mathrm{i}\mathrm{n}\mathrm{f}}{R}_{\mathrm{2},P^{\text{'}},c_{\mathrm{2}}}^{\mathrm{r}\mathrm{e}\mathrm{g},G}\left(f_{\mathrm{2}}\right)\end{array}\right.（18）

并且对任意f_{\mathrm{1},P^{\text{'}},c_{\mathrm{1}}},f_{\mathrm{2},P^{\text{'}},c_{\mathrm{2}}}，都有{‖f_{\mathrm{1},P^{\text{'}},c_{\mathrm{1}}}‖}_H\le {\delta }_{c_{\mathrm{1}}}^G，{‖f_{\mathrm{2},P^{\text{'}},c_{\mathrm{2}}}‖}_H\le {\delta }_{c_{\mathrm{2}}}^G。

定理1证明了存在点f_{\mathrm{1},P^{\text{'}},c_{\mathrm{1}}},f_{\mathrm{2},P^{\text{'}},c_{\mathrm{2}}}能分别最小化正则化L_{\mathrm{1}}^G‒群不变风险和正则化L_{\mathrm{2}}^G‒群不变风险。当概率分布P^{\text{'}}取其经验测度时，这两点分别记为f_{\mathrm{1},S^{\text{'}},c_{\mathrm{1}}},f_{\mathrm{2},S^{\text{'}},c_{\mathrm{2}}}，恰好是最优化问题（5）的最优解。

定理2 令L_{\mathrm{1}}^G和L_{\mathrm{2}}^G是可容许损失函数，\Omega是正则化函数，k是空间X上的通用核函数。给定空间X\times Y的概率分布P^{\text{'}}，对任意的c_{\mathrm{1}},c_{\mathrm{2}}>\mathrm{0},下式成立：

\left\{\begin{array}{l}\underset{c_{\mathrm{1}}\to \mathrm{0}}{\mathrm{l}\mathrm{i}\mathrm{m}}{R}_{\mathrm{1},P^{\text{'}},c_{\mathrm{1}}}^{\mathrm{r}\mathrm{e}\mathrm{g},G}\left(f_{\mathrm{1},P^{\text{'}},c_{\mathrm{1}}}\right)=R_{\mathrm{1},P^{\text{'}}}^G\\ \underset{c_{\mathrm{2}}\to \mathrm{0}}{\mathrm{l}\mathrm{i}\mathrm{m}}{R}_{\mathrm{2},P^{\text{'}},c_{\mathrm{2}}}^{\mathrm{r}\mathrm{e}\mathrm{g},G}\left(f_{\mathrm{2},P^{\text{'}},c_{\mathrm{2}}}\right)=R_{\mathrm{2},P^{\text{'}}}^G\end{array}\right.（19）

定理2证明了当c_{\mathrm{1}},c_{\mathrm{2}}趋于0时，极小L_{\mathrm{1}}^G‒（或L_{\mathrm{2}}^G‒）群不变风险可以通过正则化L_{\mathrm{1}}^G‒（或L_{\mathrm{2}}^G‒）群不变风险在f_{\mathrm{1},P^{\text{'}},c_{\mathrm{1}}}（或f_{\mathrm{2},P^{\text{'}},c_{\mathrm{2}}}）处计算得到。

定理3 令L_{\mathrm{1}}^G和L_{\mathrm{2}}^G是可容许损失函数，给定空间X\times Y的概率分布P^{\text{'}}。如果对任意可测函数f_{\mathrm{1}},f_{\mathrm{2}}:X\mapsto \mathbb{R}，存在{\delta }_{\mathrm{1}},{\delta }_{\mathrm{2}}>\mathrm{0}，分别满足R_{\mathrm{1},P^{\text{'}}}^G\left(f_{\mathrm{1}}\right)\le R_{\mathrm{1},P^{\text{'}}}^G+{\delta }_{\mathrm{1}}和R_{\mathrm{2},P^{\text{'}}}^G\left(f_{\mathrm{2}}\right)\le R_{\mathrm{2},P^{\text{'}}}^G+{\delta }_{\mathrm{2}}，那么对任意ϵ>\mathrm{0}就有R_{P^{\text{'}}}^G\left(f\right)\le R_{P^{\text{'}}}^G+ϵ，其中f(\cdot )=|f_{\mathrm{2}}(\cdot )|-|f_{\mathrm{1}}(\cdot )|。

定理3证明了对任意可测函数f_{\mathrm{1},m},f_{\mathrm{2},m}:X\mapsto \mathbb{R}和f_m(\cdot )=|f_{\mathrm{2},m}(\cdot )|-|f_{\mathrm{1},m}(\cdot )|，如果\underset{m\to \mathrm{\infty }}{\mathrm{l}\mathrm{i}\mathrm{m}}{R}_{\mathrm{1},P^{\text{'}}}^G\left(f_{\mathrm{1},m}\right)=R_{\mathrm{1},P^{\text{'}}}^G和\underset{m\to \mathrm{\infty }}{\mathrm{l}\mathrm{i}\mathrm{m}}{R}_{\mathrm{2},P^{\text{'}}}^G\left(f_{\mathrm{2},m}\right)=R_{\mathrm{2},P^{\text{'}}}^G均成立，那么，\underset{m\to \mathrm{\infty }}{\mathrm{l}\mathrm{i}\mathrm{m}}{R}_{P^{\text{'}}}^G\left(f_m\right)=R_{P^{\text{'}}}^G成立。

4.3.2　基于覆盖数的群不变通用一致性

为了证明断言\mathit{𝒞}的第四步，就要先找到两个中心不等式。本小节考虑基于覆盖数^[21]的中心不等式。给定度量区间(\mathrm{ℳ},d)，令B(x,ϵ)是以x为中心，ϵ为半径的闭球体。度量区间\mathrm{ℳ}的覆盖数定义为下式：

\mathrm{𝒩}\left(\left(\mathrm{ℳ},d\right),ϵ\right)=

\mathrm{m}\mathrm{i}\mathrm{n}\left\{\left.n\in \mathbb{N}\right|{\mathit{x}}_{\mathrm{1}},{\mathit{x}}_{\mathrm{2}},\dots ,{\mathit{x}}_n\in \mathrm{ℳ},\mathrm{ℳ}\subset {\displaystyle \underset{i=\mathrm{1}}{\overset{n}{\cup }}}B\left(\mathit{x},ϵ\right)\right\}（20）

覆盖数的对数标记为\mathrm{\mathscr{H}}\left(\left(\mathrm{ℳ},d\right),ϵ\right)=\mathrm{l}\mathrm{n}\mathrm{𝒩}\left(\left(\mathrm{ℳ},d\right),ϵ\right)。给定训练集S，则有\mathrm{\mathscr{H}}\left(S,ϵ\right)=\mathrm{l}\mathrm{n}\mathrm{𝒩}\left(S,ϵ\right)。

首先通过{\delta }_{c_{\mathrm{1}}}^{G}I和{\delta }_{c_{\mathrm{2}}}^{G}I的覆盖数定义推导出引理1，再根据引理1推导GI⁃TWSVM满足群不变通用一致性的条件，如定理4所示。

引理1 令L_{\mathrm{1}}^G和L_{\mathrm{2}}^G是可容许损失函数，\Omega是正则化函数，k是空间X上的连续核函数。给定空间X\times Y的概率分布P^{\text{'}}，对任意ϵ>\mathrm{0},c_{\mathrm{1}},c_{\mathrm{2}}>\mathrm{0},m\ge \mathrm{1}，（21）式成立。

\left\{\begin{array}{l}{P}^{\text{'}}\left\{\left|R_{\mathrm{1},s^{\text{'}}}^G\left(f_{\mathrm{1},s^{\text{'}},c_{\mathrm{1}}}\right)-R_{\mathrm{1},P^{\text{'}}}^G\left(f_{\mathrm{1},s^{\text{'}},c_{\mathrm{1}}}\right)\right|\ge ϵ\right\}\le \mathrm{2}\mathrm{e}\mathrm{x}\mathrm{p}\left\{\mathrm{\mathscr{H}}\left({\delta }_{c_{\mathrm{1}}}^{G}I,{\omega }^{-\mathrm{1}}\left(L_{\mathrm{1},c_{\mathrm{1}}}^G,\frac{ϵ}{\mathrm{3}}\right)\right)-\frac{\mathrm{2}{ϵ}^{\mathrm{2}}m}{\mathrm{9}{‖L_{\mathrm{1},c_{\mathrm{1}}}^G‖}_{\mathrm{\infty }}^{\mathrm{2}}}\right\}\\ P^{\text{'}}\left\{\left|R_{\mathrm{2},s^{\text{'}}}^G\left(f_{\mathrm{2},s^{\text{'}},c_{\mathrm{2}}}\right)-R_{\mathrm{2},P^{\text{'}}}^G\left(f_{\mathrm{2},s^{\text{'}},c_{\mathrm{2}}}\right)\right|\ge ϵ\right\}\le \mathrm{2}\mathrm{e}\mathrm{x}\mathrm{p}\left\{\mathrm{\mathscr{H}}\left({\delta }_{c_{\mathrm{2}}}^{G}I,{\omega }^{-\mathrm{1}}\left(L_{\mathrm{2},c_{\mathrm{2}}}^G,\frac{ϵ}{\mathrm{3}}\right)\right)-\frac{\mathrm{2}{ϵ}^{\mathrm{2}}m}{\mathrm{9}{‖L_{\mathrm{2},c_{\mathrm{2}}}^G‖}_{\mathrm{\infty }}^{\mathrm{2}}}\right\}\end{array}\right.（21）

定理4 令L_{\mathrm{1}}^G和L_{\mathrm{2}}^G是可容许损失函数，\Omega是正则化函数，k是空间X上的通用核函数。假设存在两个正的序列\left(c_{\mathrm{1}}\left(m\right)\right)和\left(c_{\mathrm{2}}\left(m\right)\right)，满足c_{\mathrm{1}}\left(m\right),c_{\mathrm{2}}\left(m\right)\stackrel{m\to \mathrm{\infty }}{\to }\mathrm{0},并且对任意的\mathrm{ϵ}>\mathrm{0}，下式成立：

\left\{\begin{array}{l}\frac{{‖L_{\mathrm{1},c_{\mathrm{1}}\left(m\right)}^G‖}_{\mathrm{\infty }}^{\mathrm{2}}}{m}\mathrm{\mathscr{H}}\left({\delta }_{c_{\mathrm{1}}\left(m\right)}^{G}I,{\omega }^{-\mathrm{1}}\left(L_{\mathrm{1},c_{\mathrm{1}}\left(m\right)}^G,ϵ\right)\right)\stackrel{m\to \mathrm{\infty }}{\to }\mathrm{0}\\ \frac{{‖L_{\mathrm{2},c_{\mathrm{2}}\left(m\right)}^G‖}_{\mathrm{\infty }}^{\mathrm{2}}}{m}\mathrm{\mathscr{H}}\left({\delta }_{c_{\mathrm{2}}\left(m\right)}^{G}I,{\omega }^{-\mathrm{1}}\left(L_{\mathrm{2},c_{\mathrm{2}}\left(m\right)}^G,ϵ\right)\right)\stackrel{m\to \mathrm{\infty }}{\to }\mathrm{0}\end{array}\right.（22）

那么，最优化问题（5）是群不变通用一致的。

此外，如果对所有的ϵ>\mathrm{0}，下式成立：

（23）

那么，最优化问题（5）是群不变通用强一致的。

4.3.3　基于局部覆盖数的群不变通用一致性

从数学的角度来讲，覆盖数是定义在整个函数集合{\delta }_{c_{\mathrm{1}}}^{G}I和{\delta }_{c_{\mathrm{2}}}^{G}I上，计算较为复杂。有时候为了简便计算，用局部覆盖数^[21]替代。因此，本小节不使用{\delta }_{c_{\mathrm{1}}}^{G}I和{\delta }_{c_{\mathrm{2}}}^{G}I的覆盖数定义，而是基于局部覆盖数推导中心不等式。令l_{\mathrm{\infty }}^m是带有无穷范数的空间{\mathbb{R}}^m，给定函数集\mathrm{ℱ}，对任意ϵ>\mathrm{0},n\in \mathbb{N}，局部覆盖数定义如下：

\mathit{𝒩}\left(\mathrm{ℱ},n,ϵ\right)=

\mathrm{s}\mathrm{u}\mathrm{p}\left\{\mathit{𝒩}\left(\left({\mathrm{ℱ}}_{\left|X_{\mathrm{0}}\right|},l_{\mathrm{\infty }}^{\left|X_{\mathrm{0}}\right|}\right),ϵ\right):X_{\mathrm{0}}\subset X,\left|X_{\mathrm{0}}\right|\le n\right\}（24）

其中，{\mathrm{ℱ}}_{|X_{\mathrm{0}}|}=\left\{f_{|X_{\mathrm{0}}|}:f\in \mathrm{ℱ}\right\}是l_{\mathrm{\infty }}^{\left|X_{\mathrm{0}}\right|}的子集。局部覆盖数的对数记为\mathrm{\mathscr{H}}\left(\mathrm{ℱ},n,ϵ\right)=\mathrm{l}\mathrm{n}\mathit{𝒩}\left(\mathrm{ℱ},n,ϵ\right)。

为了证明断言\mathit{𝒞}的第四步，首先引入引理2，推导断言\mathit{𝒞}所需的两个中心不等式，在此基础上，再通过定理5推导GI⁃TWSVM满足群不变通用一致性的条件。

引理2 令L_{\mathrm{1}}^G和L_{\mathrm{2}}^G是可容许损失函数，\Omega是正则化函数，k是空间X上的连续核函数。给定空间X\times Y的概率分布P^{\text{'}}，对任意ϵ>\mathrm{0},c_{\mathrm{1}},c_{\mathrm{2}}>\mathrm{0}，则有：

\left\{\begin{array}{l}{P}^{\text{'}}\left\{\left|R_{\mathrm{1},S^{\text{'}}}^G\left(f_{\mathrm{1},S^{\text{'}},c_{\mathrm{1}}}\right)-R_{\mathrm{1},P^{\text{'}}}^G\left(f_{\mathrm{1},S^{\text{'}},c_{\mathrm{1}}}\right)\right|\ge ϵ\right\}\le \mathrm{12}m\mathrm{e}\mathrm{x}\mathrm{p}\left\{\mathrm{\mathscr{H}}\left({\delta }_{c_{\mathrm{1}}}^{G}I,\mathrm{2}m,{\omega }^{-\mathrm{1}}\left(L_{\mathrm{1},c_{\mathrm{1}}}^G,\frac{ϵ}{\mathrm{6}}\right)\right)-\frac{{ϵ}^{\mathrm{2}}m}{\mathrm{36}{‖L_{\mathrm{1},c_{\mathrm{1}}}^G‖}_{\mathrm{\infty }}^{\mathrm{2}}}\right\}\\ P^{\text{'}}\left\{\left|R_{\mathrm{2},S^{\text{'}}}^G\left(f_{\mathrm{2},S^{\text{'}},c_{\mathrm{2}}}\right)-R_{\mathrm{2},P^{\text{'}}}^G\left(f_{\mathrm{2},S^{\text{'}},c_{\mathrm{2}}}\right)\right|\ge ϵ\right\}\le \mathrm{12}m\mathrm{e}\mathrm{x}\mathrm{p}\left\{\mathrm{\mathscr{H}}\left({\delta }_{c_{\mathrm{2}}}^{G}I,\mathrm{2}m,{\omega }^{-\mathrm{1}}\left(L_{\mathrm{2},c_{\mathrm{2}}}^G,\frac{ϵ}{\mathrm{6}}\right)\right)-\frac{{ϵ}^{\mathrm{2}}m}{\mathrm{36}{‖L_{\mathrm{2},c_{\mathrm{2}}}^G‖}_{\mathrm{\infty }}^{\mathrm{2}}}\right\}\end{array}\right.（25）

定理5 令L_{\mathrm{1}}^G和L_{\mathrm{2}}^G是可容许损失函数，\Omega是正则化函数，k是空间X上的通用核函数。假设存在两个正序列(c_{\mathrm{1}}(m))和(c_{\mathrm{2}}(m))，满足c_{\mathrm{1}}\left(m\right),c_{\mathrm{2}}\left(m\right)\stackrel{m\to \mathrm{\infty }}{\to }\mathrm{0},并且对任意的ϵ>\mathrm{0}，（26）式成立。那么，最优化问题（5）是群不变通用一致的。此外，如果对任意ϵ>\mathrm{0}，（26）式成立，那么最优化问题（5）是群不变通用强一致的。

\left\{\begin{array}{l}\frac{{‖L_{\mathrm{1},c_{\mathrm{1}}\left(m\right)}^G‖}_{\mathrm{\infty }}^{\mathrm{2}}}{m}\left(\mathrm{\mathscr{H}}\left({\delta }_{c_{\mathrm{1}}\left(m\right)}^{G}I,\mathrm{2}m,{\omega }^{-\mathrm{1}}\left(L_{\mathrm{1},c_{\mathrm{1}}\left(m\right)}^G,ϵ\right)\right)+\mathrm{l}\mathrm{o}\mathrm{g}m\right)\stackrel{m\to \mathrm{\infty }}{\to }\mathrm{0}\\ \frac{{‖L_{\mathrm{2},c_{\mathrm{2}}\left(m\right)}^G‖}_{\mathrm{\infty }}^{\mathrm{2}}}{m}\left(\mathrm{\mathscr{H}}\left({\delta }_{c_{\mathrm{2}}\left(m\right)}^{G}I,\mathrm{2}m,{\omega }^{-\mathrm{1}}\left(L_{\mathrm{2},c_{\mathrm{2}}\left(m\right)}^G,ϵ\right)\right)+\mathrm{l}\mathrm{o}\mathrm{g}m\right)\stackrel{m\to \mathrm{\infty }}{\to }\mathrm{0}\end{array}\right.（26）

4.3.4　基于稳定性的群不变通用一致性

对实际问题来说，通常会要求损失函数是凸的，并且正则化函数为\Omega (c,t)=c{t}^{\mathrm{2}}。为了保证算法具有一定的泛化能力，通常还需要保证分类器的稳定性（stability）^[29]。因此，本节从稳定性的角度出发，重新描述该定义，使其更符合本文论述，具体定义如下：

定义8（GI⁃TWSVM的稳定性） 给定训练集S^{\text{'}}=\left\{\left({\mathit{g}}_{\mathrm{1}}{\mathit{x}}_{\mathrm{1}},y_{\mathrm{1}}\right),\dots ,\left({\mathit{g}}_m{\mathit{x}}_m,y_m\right)\right\}\subseteq X\times Y和GI⁃TWSVM基于该训练集的分类器f_{S^{\text{'}}}(\cdot )=|f_{\mathrm{2},S^{\mathrm{\text{'}}}}(\cdot )|-|f_{\mathrm{1},S^{\mathrm{\text{'}}}}(\cdot )|。用(\mathit{g}\mathit{x},y)替换S^{\text{'}}的第i个样本\left({\mathit{g}}_i{\mathit{x}}_i,y_i\right),i=\mathrm{1},\dots ,m，

将替换后的训练集标记为S_{i,(\mathit{g}\mathit{x},y)}^{\text{'}}。对于任意的\left({\mathit{g}}^{\text{'}}{\mathit{x}}^{\text{'}},y^{\text{'}}\right)\in X\times Y以及任意\left({\mathit{g}}_i{\mathit{x}}_i,y_i\right)\in S^{\mathrm{\text{'}}},i=\mathrm{1},\dots ,m，如果存在序列\left({\beta }_{\mathrm{1}}\left(m\right)\right)和\left({\beta }_{\mathrm{2}}\left(m\right)\right)，使得（27）式中的不等式均成立，那么，分类器f_{S^{\text{'}}}关于序列\left({\beta }_{\mathrm{1}}(m)\right)和\left({\beta }_{\mathrm{2}}(m)\right)是稳定的。

\left\{\begin{array}{l}\left|L_{\mathrm{1}}^G\left(y^{\text{'}},f_{\mathrm{1},S^{\text{'}}}\left({\mathit{g}}^{\text{'}}{\mathit{x}}^{\text{'}}\right),c_{\mathrm{3}}\right)-L_{\mathrm{1}}^G\left(y^{\text{'}},f_{\mathrm{1},S_{i,(gx,y)}^{\text{'}}}\left({\mathit{g}}^{\text{'}}{\mathit{x}}^{\text{'}}\right),c_{\mathrm{3}}\right)\right|\le {\beta }_{\mathrm{1}}\left(i\right)\\ \left|L_{\mathrm{2}}^G\left(y^{\text{'}},f_{\mathrm{2},S^{\text{'}}}\left({\mathit{g}}^{\text{'}}{\mathit{x}}^{\text{'}}\right),c_{\mathrm{4}}\right)-L_{\mathrm{2}}^G\left(y^{\text{'}},f_{\mathrm{2},S_{i,(gx,y)}^{\text{'}}}\left({\mathit{g}}^{\text{'}}{\mathit{x}}^{\text{'}}\right),c_{\mathrm{4}}\right)\right|\le {\beta }_{\mathrm{2}}\left(i\right)\end{array}\right.（27）

为了证明断言\mathit{𝒞}的第四步成立，首先引入引理3，证明GI⁃TWSVM的分类器f_{S^{\text{'}}}在损失函数L_{\mathrm{1}}^G和L_{\mathrm{2}}^G均为凸函数和正则化函数定义为\Omega (c,f)=c{‖f‖}^{\mathrm{2}}的前提下是稳定的；然后，在分类器稳定的条件下，通过引理4推导出两个中心不等式；最后，推导出定理6，证明GI⁃TWSVM在稳定性条件下是群不变通用一致的。

引理3 令L_{\mathrm{1}}^G和L_{\mathrm{2}}^G是凸的可容许损失函数，\Omega (c,f)=c{‖f‖}^{\mathrm{2}}是正则化函数，\left(c_{\mathrm{1}}(m)\right)和\left(c_{\mathrm{2}}(m)\right)是两个正的序列。那么，GI⁃TWSVM的分类器关于序列\left(\frac{\mathrm{2}{K}^{\mathrm{2}}{\left|L_{\mathrm{1},c_{\mathrm{1}}\left(m\right)}^G\right|}_{\mathrm{1}}^{\mathrm{2}}}{m{c}_{\mathrm{1}}\left(m\right)}\right)和\left(\frac{\mathrm{2}{K}^{\mathrm{2}}{\left|L_{\mathrm{2},c_{\mathrm{2}}\left(m\right)}^G\right|}_{\mathrm{1}}^{\mathrm{2}}}{m{c}_{\mathrm{2}}\left(m\right)}\right)是稳定的。

引理4 令L_{\mathrm{1}}^G和L_{\mathrm{2}}^G是可容许损失函数，\Omega是正则化函数，k是空间X上的连续核函数。假设分类器关于序列\left({\beta }_{\mathrm{1}}(m)\right)和\left({\beta }_{\mathrm{2}}(m)\right)是稳定的，其中{\beta }_{\mathrm{1}}(m)=\frac{\mathrm{2}{K}^{\mathrm{2}}{\left|L_{\mathrm{1},c_{\mathrm{1}}\left(m\right)}^G\right|}_{\mathrm{1}}^{\mathrm{2}}}{m{c}_{\mathrm{1}}\left(m\right)},{\beta }_{\mathrm{2}}\left(m\right)=\frac{\mathrm{2}{K}^{\mathrm{2}}{\left|L_{\mathrm{2},c_{\mathrm{2}}\left(m\right)}^G\right|}_{\mathrm{1}}^{\mathrm{2}}}{m{c}_{\mathrm{2}}\left(m\right)}。那么，（28）式中的两个不等式均成立。

\left\{\begin{array}{l}{P}^{\text{'}}\left\{\left|R_{\mathrm{1},S^{\text{'}}}^G\left(f_{\mathrm{1},S^{\text{'}},c_{\mathrm{1}}\left(m\right)}\right)-R_{\mathrm{1},P^{\text{'}}}^G\left(f_{\mathrm{1},S^{\text{'}},c_{\mathrm{1}}\left(m\right)}\right)\right|>ϵ+{\beta }_{\mathrm{1}}\left(m\right)\right\}\le \mathrm{2}\mathrm{e}\mathrm{x}\mathrm{p}\left\{-\frac{{ϵ}^{\mathrm{2}}m}{\mathrm{2}{\left(m{\beta }_{\mathrm{1}}\left(m\right)+{‖L_{\mathrm{1},c_{\mathrm{1}}\left(m\right)}^G‖}_{\mathrm{\infty }}\right)}^{\mathrm{2}}}\right\}\\ P^{\text{'}}\left\{\left|R_{\mathrm{2},S^{\text{'}}}^G\left(f_{\mathrm{2},S^{\text{'}},c_{\mathrm{2}}\left(m\right)}\right)-R_{\mathrm{2},P^{\text{'}}}^G\left(f_{\mathrm{2},S^{\text{'}},c_{\mathrm{2}}\left(m\right)}\right)\right|>ϵ+{\beta }_{\mathrm{2}}\left(m\right)\right\}\le \mathrm{2}\mathrm{e}\mathrm{x}\mathrm{p}\left\{-\frac{{ϵ}^{\mathrm{2}}m}{\mathrm{2}{\left(m{\beta }_{\mathrm{2}}\left(m\right)+{‖L_{\mathrm{2},c_{\mathrm{2}}\left(m\right)}^G‖}_{\mathrm{\infty }}\right)}^{\mathrm{2}}}\right\}\end{array}\right.（28）

定理6 令L_{\mathrm{1}}^G和L_{\mathrm{2}}^G是凸的可容许损失函数，\Omega (c,f)=c{‖f‖}^{\mathrm{2}}是正则化函数，k是空间X上的通用核函数。假设存在两个序列\left(c_{\mathrm{1}}(m)\right)和\left(c_{\mathrm{2}}(m)\right)，满足条件c_{\mathrm{1}}\left(m\right),c_{\mathrm{2}}(m)\stackrel{m\to \mathrm{\infty }}{\to }\mathrm{0}以及（29）式，那么，最优化问题（5）是群不变通用一致的。

\left\{\begin{array}{l}\frac{m{c}_{\mathrm{1}}{\left(m\right)}^{\mathrm{2}}}{{\left|L_{\mathrm{1},c_{\mathrm{1}}\left(m\right)}^G\right|}_{\mathrm{1}}^{\mathrm{4}}}\stackrel{m\to \mathrm{\infty }}{\to }\mathrm{\infty }\\ \frac{m{c}_{\mathrm{2}}{\left(m\right)}^{\mathrm{2}}}{{\left|L_{\mathrm{2},c_{\mathrm{2}}\left(m\right)}^G\right|}_{\mathrm{1}}^{\mathrm{4}}}\stackrel{m\to \mathrm{\infty }}{\to }\mathrm{\infty }\end{array}\right.（29）

5　 实 验

5.1　实验设置

本文使用了MNIST数据集进行实验。该数据集包括训练集（60 000个）和测试集（10 000个），图片大小均为28\times28。数据集包含0到9十个数字，选取0~9中任意五个数字作为正类，另外五个数字作为负类。

本文使用了旋转群和平移群两种群作用，其中，旋转群的旋转角度为-30°到+30°，平移群一般取平移一到两个像素点。

5.2　实验结果分析

首先，对MNIST数据集加入旋转群不变性，图3分别比较了线性和非线性的TBSVM和虚拟支持向量TBSVM两种算法的准确率随样本变化趋势，分析结果如下：第一，线性情况下，样本量小于450时，虚拟支持向量TBSVM算法的准确率高于TBSVM算法；样本量由450逐渐增加至600时，虚拟支持向量TBSVM算法的准确率略微低于TBSVM算法；但随着样本量继续增加时，虚拟支持向量TBSVM算法准确率再次超过了TBSVM算法。从总体趋势来看，样本量大于600时，虚拟支持向量TBSVM算法要优于TBSVM算法。第二，非线性情况下，无论样本数量多少，虚拟支持向量TBSVM算法的准确率都比TBSVM算法高；此外，TBSVM算法的准确率达到98.8%，至少需要1 500个样本，而虚拟支持向量TBSVM算法，达到该准确率时只需要600个样本，也就是说，在达到相同算法准确率时，虚拟支持向量TBSVM算法所需样本量更小。由这两个结论可知，将群不变性引入到TWSVM算法框架中，确实能够提升算法性能。

其次，对MNIST数据集分别加入平移群和旋转群。图4显示了平移群不变性和旋转群不变性的比较结果。从图4（a）可以看出：线性情况下，加入群不变性对TBSVM算法性能有提升，但提升空间不大；样本量小于900时，基于平移群不变性和旋转群不变性的TBSVM算法准确率几乎相同，样本量大于等于900时，准确率有所变化，但仍比较接近，所以群的选择对线性虚拟TBSVM算法影响不大。从图4（b）可以看出：对于多项式核，加入群不变性能提升TBSVM算法的性能，相对于线性分类器，提升幅度较大；样本量小于等于750时，基于旋转群不变性的TBSVM算法比基于平移群不变性的TBSVM算法准确率高，样本量大于750时，二者的准确率则差别不大，这与线性情况相反。所以，群的选择可能受到样本量的影响。从图4（c）可以看出：对于抖动核TBSVM算法，旋转群不变性能较大地提升算法的准确率，而平移群不变性则不能。这说明群的选择是一个重要的问题，群选得好，能够提升算法性能，选得不好，反而会对算法产生负面影响。

由上述两个实验可知，在分类任务中，具备群不变性的TBSVM算法性能总体上有所提升，准确率相对于原始TBSVM算法有所提高。因此，把群不变性引入到TWSVM框架中，形成的GI⁃TWSVM问题是有实际意义的，能够提升算法性能，并且不同的群不变性对算法性能影响各不相同，这能在一定程度上指导我们设计出更优的学习算法。

6　 结 语

本文提出了GI⁃TWSVM问题。理论上，本文研究了GI⁃TWSVM的一致性，分别给出和论证了GI⁃TWSVM基于覆盖数、局部覆盖数以及稳定性的群不变通用一致性，为后续的算法设计提供了有力的理论支撑。实验上，以孪生有界支持向量机（TBSVM）算法为例，提出了虚拟支持向量TBSVM算法和抖动核TBSVM算法来构造具备群不变性的TBSVM分类器。实验验证了群不变性能够提升算法性能，并且不同群不变性的选择对算法性能的影响也有所不同。

目前，群不变性在TWSVM中的应用研究还处于初步阶段，本文设计的虚拟支持向量TBSVM算法和抖动核TBSVM算法只是在原有TBSVM的基础上进行了非常简单的改造以满足群不变性，未来还有很大的发展空间，如何将群不变性引入到TWSVM及其变种，从而较大地提升其性能，对未来TWSVM的发展有着重要的意义。

参考文献

[1] LAUER F， BLOCH G. Incorporating prior knowledge in support vector machines for classification： A review［J］. Neurocomputing， 2008， 71（7/8/9）： 1578-1594. DOI： 10.1016/j.neucom.2007.04.010 .

[2] ZHANG W， YU L， YOSHIDA T， et al. Feature weighted confidence to incorporate prior knowledge into support vector machines for classification［J］. Knowledge and Information Systems， 2019， 58（2）： 371-397. DOI： 10.1007/s10115-018-1165-2 .

[3] LIU Y T， HUANG L， LI J， et al. Multi-task learning based on geometric invariance discriminative features［J］. Applied Intelligence， 2023， 53（3）： 3505-3518. DOI： 10.1007/s10489-022-03617-x .

[4] NANDA V， MAJUMDAR A， KOLLING C， et al. Do invariances in deep neural networks align with human perception？［J］. Proceedings of the 37th AAAI Conference on Artificial Intelligence， 2023， 37（8）： 9277-9285. DOI： 10.1609/aaai.v37i8.26112 .

[5] SIMARD P， LECUN Y， DENKER J S. Efficient pattern recognition using a new transformation distance［EB/OL］. ［2022-12-25］. DOI: 10.1007/3-540-49430-8_13 .

[6] HOUNIE I， CHAMON L F O， RIBEIRO A. Automatic data augmentation via invariance-constrained learning［C］// Proceedings of the 40th International Conference on Machine Learning. New York： PMLR， 2023： 13410-13433. DOI： 10.5555/3618408.3618953 .

[7] XU W X， HUANG D J， ZHOU S G. Statistical learning with group invariance： Problem， method and consistency［J］. International Journal of Machine Learning and Cybernetics， 2019， 10（6）： 1503-1511. DOI： 10.1007/s13042-018-0829-2 .

[8] JAYADEVA， KHEMCHANDANI R， CHANDRA S. Twin support vector machines for pattern classification［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2007， 29（5）： 905-910. DOI： 10.1109/TPAMI.2007.1068 .

[9] MANGASARIAN O L， WILD E W. Multisurface proximal support vector machine classification via generalized eigenvalues［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2006， 28（1）： 69-74. DOI： 10.1109/TPAMI.2006.17 .

[10] SHAO Y H， ZHANG C H， WANG X B， et al. Improvements on twin support vector machines［J］. IEEE Transactions on Neural Networks， 2011， 22（6）： 962-968. DOI： 10.1109/TNN.2011.2130540 .

[11] SHAO Y H， CHEN W J， WANG Z， et al. Weighted linear loss twin support vector machine for large-scale classification［J］. Knowledge–Based Systems， 2015， 73（1）： 276-288. DOI： 10.1016/j.knosys.2014.10.011 .

[12] TANVEER M， SHUBHAM K. Smooth twin support vector machines via unconstrained convex minimization［J］. Filomat， 2017， 31（8）： 2195-2210. DOI： 10.2298/fil1708195t .

[13] YAN H， YE Q L， ZHANG T A， et al. Least squares twin bounded support vector machines based on L1-norm distance metric for classification［J］. Pattern Recognition， 2018， 74（C）： 434-447. DOI： 10.1016/j.patcog.2017.09.035 .

[14] XIAO Y S， LIU J N， WEN K R， et al. A least squares twin support vector machine method with uncertain data［J］. Applied Intelligence， 2023， 53（9）： 10668-10684. DOI： 10.1007/s10489-022-03897-3 .

[15] GUPTA U， GUPTA D. Bipolar fuzzy based least squares twin bounded support vector machine［J］. Fuzzy Sets and Systems， 2022， 449： 120-161. DOI： 10.1016/j.fss.2022.06.009 .

[16] RASTOGI R， SHARMA S， CHANDRA S. Robust parametric twin support vector machine for pattern classification［J］. Neural Processing Letters， 2018， 47（1）： 293-323. DOI： 10.1007/s11063-017-9633-3 .

[17] ZHENG X H， ZHANG L， YAN L L. CTSVM： A robust twin support vector machine with correntropy-induced loss function for binary classification problems［J］. Information Sciences， 2021， 559： 22-45. DOI： 10.1016/j.ins.2021.01.006 .

[18] DAMMINSED V， PANUP W， WANGKEEREE R. Laplacian twin support vector machine with pinball loss for semi-supervised classification［J］. IEEE Access， 2023， 11： 31399-31416. DOI： 10.1109/ACCESS.2023.3262270 .

[19] HAZARIKA B B， GUPTA D. Density weighted twin support vector machines for binary class imbalance learning［J］. Neural Processing Letters， 2022， 54（2）： 1091-1130. DOI： 10.1007/s11063-021-10671-y .

[20] CHE Z Y， LIU B， XIAO Y S， et al. A new twin SVM method with dictionary learning［J］. Applied Intelligence， 2021， 51（10）： 7245-7261. DOI： 10.1007/s10489-021-02273-x .

[21] STEINWART I. Consistency of support vector machines and other regularized kernel classifiers［J］. IEEE Transactions on Information Theory， 2005， 51（1）： 128-142. DOI： 10.1109/TIT.2004.839514 .

[22] VAPNIK V N， CHERVONENKIS A J. The necessary and sufficient conditions for consistency of the method of empirical risk minimization［J］. Pattern Recognition and Image Analysis， 1991， 1（3）： 283-305.

[23] VAPNIK V N. Statistical Learning Theory［M］. New York： Wiley， 1998.

[24] VAPNIK V N. The Nature of Statistical Learning Theory［M］. 2nd ed. New York： Springer， 2000. DOI: 10.1007/978-1-4757-3264-1_8 .

[25] ROY A， CHAKRABORTY S. Support vector machine in structural reliability analysis： A review［J］. Reliability Engineering & System Safety， 2023， 233： 109126. DOI： 10.1016/j.ress.2023.109126 .

[26] XU W X， HUANG D J， ZHOU S G. Universal consistency of twin support vector machines［J］. International Journal of Machine Learning and Cybernetics， 2021， 12（7）： 1867-1877. DOI： 10.1007/s13042-021-01281-0 .

[27] LIN S B， WANG K D， WANG Y， et al. Universal consistency of deep convolutional neural networks［J］. IEEE Transactions on Information Theory， 2022， 68（7）： 4610-4617. DOI： 10.1109/TIT.2022.3151753 .

[28] DECOSTE D， BURL M C. Distortion-invariant recognition via jittered queries［C］//Proceedings IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE Press， 2002： 732-737. DOI： 10.1109/CVPR.2000.855893 .

[29] BOUSQUET O， ELISSEEFF A. Algorithmic stability and generalization performance［C］//Proceedings of the 13th International Conference on Neural Information Processing Systems. New York： ACM， 2000： 196-202. DOI： 10.5555/3008751.3008778 .

基金资助

国家自然科学基金(U62072185)