面向迁移学习中特征向量差异性的成员推理攻击

Membership Inference Attack for Feature Vector Difference in Transfer Learning

摘要

在以图像分类为目标任务的迁移学习场景下，针对攻击者能力和需求对应模型不一致的情况下攻击准确率较低的问题，提出面向特征向量差异性的成员推理攻击方案，构建阴影模型获取不同层次的特征向量，采用欧氏距离对不同特征向量之间的距离进行计算，提出阈值比较步骤对欧氏距离细化分类，并设计阈值选择策略。实验结果表明：在不访问教师模型的情况下，对教师模型实施成员推理攻击，所提攻击方案仍能实现较好的攻击性能。本文方案在Cats vs Dogs、Flowers102和CIFAR-100数据集上成员推理攻击准确率分别达到0.728、0.632和0.581，揭示了迁移学习场景下成员推理攻击的有效性。随着学生模型训练时冻结层数的增加，本文方案在Cats vs Dogs数据集上的攻击性能得到提升。

Abstract

In the transfer learning scenario with image classification as the target task, to solve the problem of low accuracy in the case of inconsistent corresponding models of the attacker's ability and demand, a membership inference attack scheme for feature vector difference is proposed, shadow model is constructed to help adversaries obtain feature vectors at different levels, and Euclidean distance is used to calculate the distance between different feature vectors. The threshold comparison step is proposed to classify Euclidean distance and a threshold selection strategy is also designed. Experimental results show that the proposed attack scheme can obtain great attack performance when attacking the teacher model without visiting the teacher model. The membership inference attack accuracy on Cats vs Dogs, Flowers102 and CIFAR-100 datasets achieves 0.728, 0.632 and 0.581 respectively, which reveals the effectiveness of membership inference attack in the transfer learning scenario. Moreover, with the increase of the number of frozen layers in student model training process, the attack performance of the proposed scheme on Cats vs Dogs datasets is improved.

Graphical abstract

关键词

机器学习 / 成员推理攻击 / 迁移学习

Key words

machine learning / membership inference attack / transfer learning

0　 引 言

目前，传统机器学习（即从头开始训练的机器学习算法）为保证模型识别的准确率，在训练过程中需要程序员投入大量已标注数据和计算资源，这一过程需要消耗极大的人力与物力，对于一些个人用户或者小型公司来说是非常不友好的。同时，传统机器学习在安全性方面也有一定的不足，以往的研究表明，传统机器学习模型容易受到对抗样本^[1~3]、模型反演攻击^[4，5]、模型窃取攻击^[6~8]和成员推理攻击^[9~13]等多种隐私攻击算法的攻击。

作为一种跨域的机器学习算法^[14]，迁移学习^[15，16]有别于传统机器学习，它帮助用户从别的任务训练得到的模型中继承特征知识，用来训练并提升自己的模型性能，这样即使用户拥有的数据量和计算资源都不够充足，也能获得表现较好的机器学习模型。在现实生活中，迁移学习在各种领域取得了惊人的成效，例如从游戏中的汽车模拟器迁移到现实中的自动驾驶汽车^[17]，在不同的本文风格上迁移学习^[18]，又或者在语音识别系统中对非标准口音进行迁移^[19]，以确保每个人的声音都能被听懂。

在现实生活中，迁移学习相较于传统机器学习更具备训练优势，但迁移学习也同样存在安全性问题，例如，对抗样本^[20]、投毒攻击^[21]、成员推理攻击^[22]等攻击算法仍会给现实生活中的隐私安全带来极大威胁。Zou等人^[22]首次探究了针对迁移学习场景的成员推理攻击，并以图像分类为目标任务，但是他们提出的攻击方案由于没有考虑学生模型中包含从教师模型中所迁移学习的知识，所以在成员推理攻击的角度上，该工作认为教师模型与学生模型是独立无关的。在Zou等人^[22]的方案设计和实验中，选择直接采用后验概率作为成员推理攻击的输入数据。同时，实验结果也表明，他们的成员推理攻击方案的准确率只有0.5，即无法从学生模型中推理教师模型的成员信息。

本文深入探索了以图像分类为目标任务的迁移学习场景下的成员推理攻击方法，考虑到学生模型是由教师模型迁移而来，则学生模型与教师模型之间必然存在相关信息。针对迁移学习，本文通过利用教师模型与学生模型之间存在的关联信息，设计了一种基于模型特征向量差异性的成员推理攻击方案，实验结果表明本文方案远优于文献[22]的攻击方案，印证了本文方案的有效性，证明成员推理攻击对于迁移学习中的数据隐私安全仍能造成较大的威胁。

本文的主要创新点如下：

1) 在迁移学习场景中，基于教师模型和学生模型在模型隐层特征向量的表现上具有关联性，提出面向迁移学习中特征向量差异性的成员推理攻击方法；

2) 当攻击者仅能访问学生模型，并对教师模型进行攻击时，本文为了区分数据记录所属的具体模型，提出阈值比较策略，并制定阈值选择方案。

本文的其余部分将介绍以下内容：第1节将介绍迁移学习和成员推理攻击等相关内容的相关工作；第2节将介绍本文的攻击方案框架及细节；第3节将在不同的真实数据集上对本文提出的方案进行试验评估；最后在第4节对本文进行总结，并提出对未来研究方向的展望。

1　 相关工作

研究人员通过各种实验证明，使用迁移学习的方式进行训练并不是完全安全。对抗样本^[20]和投毒攻击^[21]算法在执行时都会对数据进行一定的处理，而成员推理攻击^[22]算法中，攻击者仅需要获取一些额外的知识（训练数据集的数据分布等）和拥有访问目标模型的能力，就能推断出某条数据记录是否用于参与了模型训练，从而破坏训练数据集的隐私性。因此在现实生活中，成员推理攻击对于各种机器学习模型的危害更大，也更值得研究人员进行研究并提出防御措施。

Shokri等人^[10]率先将成员推理攻击应用到机器学习的图像分类模型上，他们证明攻击者可以仅根据数据记录的预测向量推断这条特定的数据记录是否被用于训练目标模型。这种攻击也被称为黑盒成员推理攻击，并且他们提出了“阴影模型”，即一个能模拟目标模型行为的神经网络模型，实现对成员数据和非成员数据区分。随后，Salem等人^[11]对Shokri等人^[10]的研究工作进行了改进，通过实验证明仅仅依靠从目标模型获得的置信度分数，也可以成功实施成员推理攻击。

Nasr等人^[12]对白盒环境下的成员推理攻击进行了评估，但是白盒环境下的威胁模型，攻击者可以利用目标模型所有层的输出进行攻击，然而这种方法在攻击准确率上比以往工作^[10]并没有取得明显提升。在后续的实验中，Nasr等人发现反向传播计算得到的梯度矩阵中包含了大量的信息，并且越是复杂的深度神经网络模型，其反向梯度向量的维数越大，包含的信息也越多。因此，Nasr等人将梯度变化也加入到攻击模型的训练数据中，得到了更好的攻击结果。

以上工作均针对传统机器学习算法，而迁移学习模型训练中包括教师模型与学生模型，给成员推理攻击的攻击路径带来了更多的可能性。这里教师模型是指已被训练完善的模型，学生模型是指针对目标任务而迁移得到的模型。现有迁移学习的工作流程如图1所示。学生模型从教师模型处学习到模型结构、模型参数等“知识”，在学生模型的训练过程中，前K层被“冻结”，即它们相对应的模型参数是固定的。学生模型在训练过程中仅更新第K+\mathrm{1}层到第N层的参数。

文献[22]首次提出了在迁移学习场景下进行成员推理攻击。但是不难发现，文献[22]的攻击方案没有考虑学生模型中包含从教师模型中所迁移学习的知识，攻击者仅进行随机猜测，而无法从学生模型中推理教师模型的成员信息，因此攻击精确率不高。

因此，针对以图像分类为目标任务的迁移学习场景，当攻击者在无法访问教师模型的情况下，对教师模型进行成员推理攻击时，现有的成员推理攻击方案无法提供较好的攻击性能。

2　 本文方案

本节将详细介绍本文的攻击方案，包括攻击模式、威胁模型、攻击框架和阈值选择等。

2.1　攻击模式

现有的成员推理攻击方法^[9~12]的场景通常只有一个模型，然而迁移学习的模型通常包括教师模型M_{\mathrm{T}}和学生模型M_{\mathrm{S}}。在现实生活中，攻击者的访问权限可能是教师模型M_{\mathrm{T}}，或是学生模型M_{\mathrm{S}}；同时攻击者的目标可能是教师模型M_{\mathrm{T}}的成员信息，或是学生模型M_{\mathrm{S}}的成员信息。因此，根据上述分析，本文将攻击者的可能攻击路径大致分为以下三类：

• 攻击者1路径（访教-攻教成员推理攻击方案）：攻击者可以访问教师模型M_{\mathrm{T}}，并且试图推理教师模型M_{\mathrm{T}}的成员信息。

• 攻击者2路径（访学-攻教成员推理攻击方案）：攻击者可以访问学生模型M_{\mathrm{S}}，并且试图推理教师模型M_{\mathrm{T}}的成员信息。

• 攻击者3路径（访学-攻学成员推理攻击方案）：攻击者可以访问学生模型M_{\mathrm{S}}，并且试图推理学生模型M_{\mathrm{S}}的成员信息。

根据两个模型之间具备的4种排列组合可以发现，应该还有一类攻击者路径，即攻击者4路径，攻击者4访问教师模型M_{\mathrm{T}}并且试图推理出学生模型M_{\mathrm{S}}的成员信息。但是在这种情况下，教师模型M_{\mathrm{T}}的训练没有使用到学生模型M_{\mathrm{S}}的训练数据集D_{\mathrm{s}\mathrm{t}\mathrm{u}\mathrm{d}\mathrm{e}\mathrm{n}\mathrm{t}}，本文认为此攻击者无法从教师模型M_{\mathrm{T}}中获得任何有关D_{\mathrm{s}\mathrm{t}\mathrm{u}\mathrm{d}\mathrm{e}\mathrm{n}\mathrm{t}}的信息，这种攻击是一定不可行的。

另外，通过比较攻击者的能力和需求可以发现，攻击者1与攻击者3路径这两种攻击，都是针对同一个模型的成员推理攻击，与以往典型的成员推理攻击场景一致，在方法上可以直接应用以往的攻击算法，达到一个较高的攻击准确率。在迁移学习场景下，这两类攻击路径缺乏实际的研究意义，故本文主要聚焦于攻击者2路径进行深入研究。

2.2　威胁模型

本文根据攻击者2的能力和需求，将访学-攻教成员推理攻击定义如下

A\left(M_{\mathrm{S}}\left(x_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}\right),\Omega \right)\to \left\{\mathrm{0,1}\right\}（1）

其中，访学-攻教成员推理攻击的攻击模型A是一个二元分类(成员类或非成员类)的无监督机器学习分类器，x_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}是攻击者试图推理的特定数据记录，\Omega为攻击者的辅助知识。给定数据记录x_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}，攻击者将x_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}输入到学生模型M_{\mathrm{S}}得到预测结果M_{\mathrm{S}}\left(x_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}\right)，再将预测结果M_{\mathrm{S}}\left(x_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}\right)输入到攻击模型A中。当攻击模型A的输出结果为1，代表这条特定数据记录属于教师模型数据集的成员信息D_{\mathrm{t}\mathrm{e}\mathrm{a}\mathrm{c}\mathrm{h}\mathrm{e}\mathrm{r}}^{\mathrm{m}}；当输出结果为0，代表特定数据记录不属于教师模型数据集的成员信息。

本文假设攻击者2可以白盒访问学生模型M_{\mathrm{S}}，获得学生模型M_{\mathrm{S}}结构和中间层参数等内容，并且攻击者2还可以获得“阴影数据集”（即与学生数据集分布相似的数据集）D_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{d}\mathrm{o}\mathrm{w}}。

2.3　攻击框架

机器学习模型在预测训练数据集中的数据（成员数据记录）时会给出更高关于这个预测标签的置信度分数，这一现象被称为机器学习模型的过拟合^[23]。基于过拟合的现象，本文认为在迁移学习场景下，虽然学生模型M_{\mathrm{S}}已经被使用学生模型训练数据集D_{\mathrm{s}\mathrm{t}\mathrm{u}\mathrm{d}\mathrm{e}\mathrm{n}\mathrm{t}}重新训练过，但它仍然会泄露有关教师模型M_{\mathrm{T}}的相关信息。

基于上述情况，本文构建了如图2所示的攻击框架。攻击者试图对教师模型M_{\mathrm{T}}进行成员推理攻击，能且仅能访问学生模型M_{\mathrm{S}}。攻击者构建阴影模型M_{\mathrm{S}}\text{'}帮助攻击者模拟学生模型M_{\mathrm{S}}在非迁移学习场景下（即从头开始训练的机器学习场景）的模型表现，其中阴影模型M_{\mathrm{S}}\text{'}的结构与学生模型M_{\mathrm{S}}相同，因为学生模型M_{\mathrm{S}}结构是从教师模型M_{\mathrm{T}}迁移过来的，因此阴影模型M_{\mathrm{S}}\text{'}与教师模型M_{\mathrm{T}}的结构也相同。同时，阴影模型M_{\mathrm{S}}\text{'}还需要使用与学生模型训练数据集D_{\mathrm{s}\mathrm{t}\mathrm{u}\mathrm{d}\mathrm{e}\mathrm{n}\mathrm{t}}具有相同分布的阴影数据集D_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{d}\mathrm{o}\mathrm{w}}进行训练。

在攻击模型训练阶段，攻击者使用多组数据（包含成员和非成员数据）分别对学生模型M_{\mathrm{S}}和阴影模型M_{\mathrm{S}}\text{'}进行查询，获取两个模型中间层的特征向量集，分别表示为{\mathit{M}}_{\mathrm{S}}\left(x\right),{\mathit{M}}_{\mathrm{S}}\mathrm{\text{'}}\left(x\right)。学生模型M_{\mathrm{S}}中间层的特征向量不仅可以描绘学生模型M_{\mathrm{S}}的特征，还可以描绘教师模型M_{\mathrm{T}}的特征，而阴影模型M_{\mathrm{S}}\text{'}的特征向量中只有阴影模型M_{\mathrm{S}}\text{'}的特征。因此，学生模型M_{\mathrm{S}}中间层的特征向量和阴影模型M_{\mathrm{S}}\text{'}中间层的特征向量之间的差异可以帮助攻击者模拟教师模型M_{\mathrm{T}}的特征，即教师特征向量，表示为{\mathit{M}}_{\mathrm{S}}\left(x\right)-{\mathit{M}}_{\mathrm{S}}\mathrm{\text{'}}\left(x\right)。同一图像在学生模型、阴影模型上的特征向量及特征向量差异可视化如图3所示，原始图像大小为（32,32），特征向量可视化的大小为（16,16）。

攻击者将获取的特征向量集输入攻击模型进行训练，攻击模型计算成员数据在学生模型M_{\mathrm{S}}和阴影模型M_{\mathrm{S}}\text{'}的输出的特征向量的距离，获得一组新的数据，称其为教师特征向量集。攻击者将特定的数据记录输入学生模型M_{\mathrm{S}}中进行查询，得到的相应特征向量{\mathit{M}}_{\mathrm{S}}\left(x_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}\right)。本文采用欧氏距离^[24]计算两个特征向量的相似性（下文中计算距离时均使用欧氏距离），具体计算方式如下式

d(\mathit{A},\mathit{B})=\sqrt[]{\sum (a_i-b_i{)}^{\mathrm{2}}},i=\mathrm{1,2},\dots ,n（2）

其中，\mathit{A}=(a_{\mathrm{1}},a_{\mathrm{2}},\dots ,a_n),\mathit{B}=(b_{\mathrm{1}},b_{\mathrm{2}},\dots ,b_n)分别表示两个向量。

在成员推理攻击阶段，攻击模型首先计算特定数据记录的特征向量与成员数据在学生模型上的特征向量之间的相似性距离，即d({\mathit{M}}_{\mathrm{S}}(x_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}),{\mathit{M}}_{\mathrm{S}}(x\in D_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{d}\mathrm{o}\mathrm{w}}^{\mathrm{m}}))。同时，本文设置三个阈值对相似性距离进行判定，第一阈值δ₁用来区分学生模型M_{\mathrm{S}}成员数据和其他数据，第二阈值δ₂则用来区分非成员数据和其他数据，第三阈值δ₃用来区分教师模型M_{\mathrm{T}}成员数据和其他数据。可能出现的情况有以下三类。

1) d({\mathit{M}}_{\mathrm{S}}(x_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}),{\mathit{M}}_{\mathrm{S}}(x\in D_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{d}\mathrm{o}\mathrm{w}}^{\mathrm{m}}))>δ₁：此情况说明特定数据记录的特征距离学生模型M_{\mathrm{S}}成员数据的特征非常近，可以看作两者处在同一集合，因此该数据记录被判定为是学生模型M_{\mathrm{S}}的成员数据，攻击模型输出结果为2。

2) δ₁>d({\mathit{M}}_{\mathrm{S}}(x_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}),{\mathit{M}}_{\mathrm{S}}(x\in D_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{d}\mathrm{o}\mathrm{w}}^{\mathrm{m}}))>δ₂：此情况说明特定数据记录属于学生模型M_{\mathrm{S}}成员数据和非成员数据的可能性比较小，但其是否属于教师模型M_{\mathrm{T}}成员数据，还需进一步判定。此情况下，攻击模型计算特定数据记录的特征向量与教师特征向量的相似性距离，此时相似性距离表示为d({\mathit{M}}_{\mathrm{S}}(x_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}),{\mathit{M}}_{\mathrm{S}}(x\in D_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{d}\mathrm{o}\mathrm{w}}^{\mathrm{m}})-{\mathit{M}}_{\mathrm{S}}\text{'}(x\in D_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{d}\mathrm{o}\mathrm{w}}^{\mathrm{m}}))，可能出现以下两种情况：

a) d({\mathit{M}}_{\mathrm{S}}(x_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}),{\mathit{M}}_{\mathrm{S}}(x\in D_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{d}\mathrm{o}\mathrm{w}}^{\mathrm{m}})-{\mathit{M}}_{\mathrm{S}}\text{'}(x\inD_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{d}\mathrm{o}\mathrm{w}}^{\mathrm{m}}))>{\delta }_{\mathrm{3}}：此情况说明特定数据记录的特征距离教师模型M_{\mathrm{T}}成员数据的特征非常近，可以看作两者处在同一集合，因此该数据记录被判定为是教师模型M_{\mathrm{T}}的成员数据，攻击模型输出结果为1。

b) {\delta }_{\mathrm{3}}>d({\mathit{M}}_{\mathrm{S}}(x_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}),{\mathit{M}}_{\mathrm{S}}(x\in D_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{d}\mathrm{o}\mathrm{w}}^{\mathrm{m}})-{\mathit{M}}_{\mathrm{S}}\text{'}(x\inD_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{d}\mathrm{o}\mathrm{w}}^{\mathrm{m}}))：此情况说明特定数据记录的特征距离教师模型M_{\mathrm{T}}成员数据的特征较远，攻击模型判定该数据记录可能是教师模型M_{\mathrm{T}}的非成员数据，输出结果为0。

3) δ₂>d({\mathit{M}}_{\mathrm{S}}(x_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}),{\mathit{M}}_{\mathrm{S}}(x\in D_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{d}\mathrm{o}\mathrm{w}}^{\mathrm{m}}))：此情况说明特定数据记录的特征距离非成员数据的特征非常近，可以看作两者处在同一集合，因此该数据记录被判定为是非成员数据，攻击模型输出结果为0。

2.4　阈值选择

在上节中本文提出了采用三个阈值对特定的数据记录进行区分，本节将介绍如何选择这三个阈值。

对于第一阈值，因为攻击者获得了与学生模型训练数据集D_{\mathrm{s}\mathrm{t}\mathrm{u}\mathrm{d}\mathrm{e}\mathrm{n}\mathrm{t}}相同分布的阴影数据集D_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{d}\mathrm{o}\mathrm{w}}，本文将阴影数据集D_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{d}\mathrm{o}\mathrm{w}}输入阴影模型M_{\mathrm{S}}\text{'}中进行查询。攻击者计算阴影模型M_{\mathrm{S}}\text{'}输出的特征向量与上节中学生模型M_{\mathrm{S}}成员数据的特征向量之间的相似性距离，即d({\mathit{M}}_{\mathrm{S}}\text{'}\left(x\in D_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{d}\mathrm{o}\mathrm{w}}^{\mathrm{m}}\right),{\mathit{M}}_{\mathrm{S}}(x\in D_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{d}\mathrm{o}\mathrm{w}}^{\mathrm{m}}))，并选取相似性距离集合的中位数作为第一阈值。

对于第二阈值，攻击者生成一系列包含随机噪声的不同图像，并使用它们对学生模型M_{\mathrm{S}}进行查询。本文认为噪声图像在图像表达上不具备任何意义，因此具有非成员数据的普遍性，表示为D^{\mathrm{n}}。攻击者计算噪声图像在学生模型上的特征向量，与成员数据在学生模型的特征向量之间的相似性距离，即d({\mathit{M}}_{\mathrm{S}}(x\in D^{\mathrm{n}}),{\mathit{M}}_{\mathrm{S}}(x\in D_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{d}\mathrm{o}\mathrm{w}}^{\mathrm{m}}))，并选取相似性距离集合的中位数作为第二阈值。

对于第三阈值，攻击者计算噪声图像在学生模型上的特征向量，与上节中教师特征向量之间的相似性距离，即d({\mathit{M}}_{\mathrm{S}}(x\in D^{\mathrm{n}}),({\mathit{M}}_{\mathrm{S}}(x\in D_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{d}\mathrm{o}\mathrm{w}}^{\mathrm{m}})-{\mathit{M}}_{\mathrm{S}}\text{'}(x\in D_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{d}\mathrm{o}\mathrm{w}}^{\mathrm{m}})))，并选取相似性距离集合的中位数作为第三阈值。

3　 实 验

3.1　实验数据集与实验设置

本文选用4个常见的图像数据集。

• ImageNet。ImageNet是目前图像识别领域中最大的数据库，拥有上千个类别，并且每个类别中都含有数百张图像。ImageNet数据集拥有大量细粒度分类，作为迁移学习中的教师模型训练集可以给下游的学生模型提供更好的迁移能力。

• CIFAR-100。CIFAR-100是一个彩色图像数据集，它作为图像识别领域的基准数据集被研究人员广泛接受。CIFAR-100数据集将图像平均分为100类，每类包含500幅训练图像和100幅测试图像。

• Flowers102。Flowers102数据集包含英国常见的102种花卉，与CIFAR-100数据集不同，Flowers102是一个不平衡的数据集，每一类包含的图像数量在几十到几百不等。

• Cats vs Dogs。Cats vs Dogs是2013年在一场机器学习比赛上发表的数据集，其训练数据包括25 000张照片，而测试数据数量是12 500张。这是一个平衡的数据集，分类为猫和狗的数据数量各占一半。

选用数据量最大的ImageNet数据集作为教师模型M_{\mathrm{T}}的训练数据集，其余三个数据集作为学生模型M_S的训练数据集进行分别训练。在学生模型M_S的训练过程中，冻结学生模型迁移而来的部分参数，仅对余下部分进行训练，并更新模型参数。本文采用四个指标：精确率，准确率，召回率和AUC对实验结果进行分析和比较。

为了便于实验进行，将每个用来训练学生模型的数据集平均分割为学生模型数据集D_{\mathrm{s}\mathrm{t}\mathrm{u}\mathrm{d}\mathrm{e}\mathrm{n}\mathrm{t}}和阴影模型数据集D_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{d}\mathrm{o}\mathrm{w}}两个不相关联的部分，并将它们分别划分为训练数据集和测试数据集，并分别取名为D_{\mathrm{s}\mathrm{t}\mathrm{u}\mathrm{d}\mathrm{e}\mathrm{n}\mathrm{t}}^{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}},D_{\mathrm{s}\mathrm{t}\mathrm{u}\mathrm{d}\mathrm{e}\mathrm{n}\mathrm{t}}^{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}},D_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{d}\mathrm{o}\mathrm{w}}^{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}},D_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{d}\mathrm{o}\mathrm{w}}^{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}}。其中，D_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{d}\mathrm{o}\mathrm{w}}^{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}和D_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{d}\mathrm{o}\mathrm{w}}^{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}}数据集将会帮助攻击者训练阴影模型M_{\mathrm{S}}\text{'}。默认情况下，设置训练迭代次数为100，学习速率为0.001，并且使用ResNet50网络^[25]作为教师模型M_{\mathrm{T}}、学生模型M_{\mathrm{S}}和阴影模型M_{\mathrm{S}}\text{'}的结构。

3.2　实验结果

本文在Cats vs Dogs、Flowers102和CIFAR-100数据集上分别对所提成员推理攻击方案进行实验评估，实验结果如表1所示。其中教师模型M_{\mathrm{T}}首先在ImageNet数据集上进行预训练，迁移后使用三个不同的数据集进行学生模型M_{\mathrm{S}}的训练。

本文所提攻击方案在Cats vs Dogs数据集上的攻击性能明显高于其他两个数据集，AUC指数达到了0.840，准确率达到了0.728。这是因为Cats vs Dogs数据集既没有CIFAR-100数据集的数据量大，也没有Flowers102的数据集类别多，学生模型在Cats vs Dogs数据集上进行迁移学习训练时，对于学生模型参数的改变程度也较小，因此在Cats vs Dogs数据集上，成员推理攻击的性能相对更好。同时，通过表1的数据可以发现，本文所提攻击方案在Flower102和CIFAR-100数据集上的AUC指数也接近0.7，准确率分别为0.632和0.581，这说明了成员推理攻击在迁移学习场景下是有效的。

Zou等人^[22]首次在迁移学习场景下对成员推理攻击进行研究，考虑到实验场景相似，选择该工作与本文方案进行对比。从表1可以看出，当学生模型采用相同数据集进行迁移学习训练时，本文方案在各项指标上均优于对比方案。在Flowers102和CIFAR-100数据集上，对比方案最好的攻击准确率也仅能达到0.432和0.478。对于成员推理攻击算法来说，这样的攻击性能可以看作是攻击者在进行随机猜测，没有真正实现成员推理。这是因为对比方案在成员推理攻击设计上没有考虑到教师模型与学生模型之间存在的关联信息，仅利用学生模型的预测输出作为成员推理攻击的训练数据，对比方案在设计上也没有对预测输出进行细化处理，因此对比方案的攻击者无法从学生模型的预测输出中获取关于教师模型的有效信息，导致其攻击性能较低。

进一步探究学生模型在迁移学习训练时的冻结层数，对成员推理攻击性能的影响。ResNet50^[25]网络结构清晰明确，通常以维度降低的卷积层作为区分，将ResNet50网络结构分为五个部分。学生模型在Cats vs Dogs数据集上进行迁移学习训练，实验结果如表2所示。随着冻结部分的增加，本文攻击方案在Cats vs Dogs数据集上的攻击准确率分别达到了0.637，0.664和0.809。学生模型中被冻结的部分越多，本文提出的成员推理攻击方案的攻击性能越好。这是因为在迁移学习的模型迁移中，层次越高，特征越抽象。在学生模型训练的时候，为了更好地拟合学生模型的训练任务，这一部分的参数更新变化也更大。当冻结较高层的时候，学生模型对于学生数据集的拟合更差，保留了更多的教师模型训练数据的特征，因此攻击者具有更高的自信将特定数据记录判定为教师模型的成员数据。

4　 结 语

本文深入探索了以图像分类为目标任务的迁移学习场景下的成员推理攻击方法，考虑到学生模型是由教师模型迁移而来，则学生模型与教师模型之间必然存在相关信息。针对迁移学习，本文通过利用教师模型与学生模型之间存在的关联信息，设计了一种基于迁移学习中模型特征向量差异性的成员推理攻击，提出阈值比较步骤及阈值选择方案。并在真实数据集上进行了试验评估，结果表明成员推理攻击在以图像分类为目标任务的迁移学习场景下仍可以达到较高的攻击准确率。

本文假设攻击者能够白盒访问学生模型，可以提前获取到许多信息。但是这种假设在现实生活中不容易实现，并且针对机器学习模型过拟合的现象，目前已有许多相关工作可以对其进行改进，例如在决策树算法中对模型结构进行剪枝、利用生成算法对数据进行增广、在机器学习模型训练时对随机选择神经元进行正反向传播的辍学算法。因此在未来的研究中，笔者将继续研究迁移学习场景下的成员推理攻击方法，将攻击假设逐渐放宽，找到一种完全黑盒情况下的成员推理攻击方法，并研究在正常拟合情况下的迁移学习场景中的成员推理攻击方法。此外，笔者也将针对上述攻击进行成员推理攻击的防御方法研究。

参考文献

[1] 魏佳璇， 杜世康， 于志轩， 等. 图像分类中的白盒对抗攻击技术综述［J］.计算机应用， 2022， 42（9）：2732-2741. DOI：10.11772/j.issn.1001-9081-202107339 .

[2] WEI J X， DU S K， YU Z X， et al. Review of white box adversarial attack technologies in image classification tasks ［J］. Journal of Computer Applications， 2022，42（9）：2732-2741. DOI：10.11772/j.issn.1001-9081-202107339（Ch ）.

[3] 魏忠诚， 冯浩， 张新秋， 等. 基于注意力机制的物理对抗样本检测方法研究［J］. 计算机应用研究， 2022， 39（1）： 254-258. DOI：10.19734/j.issn.1001-3695.2021.06.0255 .

[4] WEI Z C， FENG H， ZHANG X Q， et al. Research on physical adversarial sample detection method based on attention mechanism［J］. Application Research of Computers， 2022， 39（1）： 254-258. DOI：10.19734/j.issn.1001-3695.2021.06.0255（Ch ）.

[5] TRAMÈR F， KURAKIN A， PAPERNOT N， et al. Ensemble adversarial training： Attacks and defenses ［DB/OL］. ［2022-04-25］.

[6] FREDRIKSON M， LANTZ E， JHA S， et al. Privacy in pharmacogenetics： An end-to-end case study of personalized warfarin dosing ［C］// Proceedings of the 23rd USENIX Conference on Security Symposium. Berkeley ： USENIX Association，2014： 17-32.

[7] FREDRIKSON M， JHA S， RISTENPART T. Model inversion attacks that exploit confidence information and basic countermeasures ［C］// Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security. New York ： Association for Computing Machinery，2015： 1322-1333. DOI：10.1145/2810103.2813677 .

[8] 高成思， 陈维伟， 王颖. 一种针对多核神经网络处理器的窃取攻击［J］. 信息安全学报， 2020， 5（3）： 23-34. DOI：10.19363/J.cnki.cn10-1380/tn.2020.05.03 .

[9] GAO C S， CHEN W W， WANG Y. An information-leakage threat case for multi-core neural network processor［J］. Journal of Cyber Security， 2020， 5（3）： 23-34. DOI：10.19363/J.cnki.cn10-1380/tn.2020.05.03 （Ch ）.

[10] TRAMÈR F， ZHANG F， JUELS A， et al. Stealing machine learning models via prediction APIs ［C］// Proceedings of the 25th USENIX Security Symposium. Berkeley： USENIX Association， 2016： 601-618.

[11] OREKONDY T， SCHIELE B， FRITZ M. Knockoff nets： Stealing functionality of black-box models［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New York： IEEE Press， 2019： 4949-4958. DOI：10.1109/CVPR.2019.00509 .

[12] 彭长根， 高婷， 刘惠篮， 等. 面向机器学习模型的基于PCA的成员推理攻击［J］. 通信学报， 2022， 43（1）： 149-160. DOI：10.11959/j.issn.1000-436x.2022009 .

[13] PENG C G， GAO T， LIU H L， et al. PCA-based membership inference attack for machine learning models［J］. Journal on Communications， 2022， 43（1）： 149-160. DOI：10.11959/j.issn.1000-436x.2022009（Ch ）.

[14] SHOKRI R， STRONATI M， SONG C Z， et al. Membership inference attacks against machine learning models［C］//2017 IEEE Symposium on Security and Privacy. New York： IEEE Press， 2017： 3-18. DOI：10.1109/SP.2017.41 .

[15] SALEM A， ZHANG Y， HUMBERT M， et al. ML-Leaks： Model and Data Independent Membership Inference Attacks and Defenses on Machine Learning Models ［DB/OL］. ［2022-02-03］. DOI: 10.14722/ndss.2019.23119 .

[16] NASR M， SHOKRI R， HOUMANSADR A. Comprehensive privacy analysis of deep learning： Passive and active white-box inference attacks against centralized and federated learning ［C］//2019 IEEE Symposium on Security and Privacy. New York： IEEE Press， 2019： 739-753. DOI：10.1109/SP.2019.00065 .

[17] 陈晋音， 上官文昌， 张京京， 等. 面向正常拟合迁移学习模型的成员推理攻击［J］. 通信学报， 2021， 42（10）： 197-210. DOI：10.11959/j.issn.1000-436x.2021209 .

[18] CHEN J Y， SHANGGUAN W C， ZHANG J J， et al. Membership inference attacks against transfer learning for generalized model［J］. Journal on Communications， 2021， 42（10）： 197-210. DOI：10.11959/j.issn.1000- 436x.2021209（Ch ）.

[19] 李鑫， 李哲民， 魏居辉， 等. 基于特征分离的跨域自适应学习模型［J］. 计算机研究与发展， 2022， 59（1）： 105-117. DOI：10.7544/issn1000-1239.20200765 .

[20] LI X， LI Z M， WEI J H， et al. Cross-domain adaptive learning model based on feature separation ［J］. Journal of Computer Research and Development， 2022， 59（1）： 105-117. DOI：10.7544/issn1000-1239.20200765（Ch ）.

[21] YOSINSKI J， CLUNE J， BENGIO Y， et al. How transferable are features in deep neural networks ［J］. Advances in Neural Information Processing Systems， 2014， 4： 3320-3328.

[22] 黎英. 迁移学习在医学图像分析中的应用研究综述［J］. 计算机工程与应用， 2021， 57（20）： 42-52. DOI：10.3778/j.issn.1002-8331.2106-0103 .

[23] LI Y. Review of application of transfer learning in medical image analysis ［J］. Computer Engineering and Applications， 2021， 57（20）： 42-52. DOI：10.3778/j.issn.1002-8331.2106-0103（Ch ）.

[24] SHAHABI C. The Future of Driverless Cars［DB/OL］. ［2022-02-01］.

[25] LIU D， FU J， ZHANG Y D， et al. Revision in continuous space： Unsupervised text style transfer without adversarial learning ［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2020， 34（5）： 8376-8383. DOI：10.1609/aaai.v34i05.6355 .

[26] WANG D， YE S S， HU X H， et al. An end-to-end dialect identification system with transfer learning from a multilingual automatic speech recognition model ［C］// Proc Interspeech 2021. 2021：374. Baixas： International Speech Communication Association， 2021： 3266-3270. DOI：10.21437/interspeech .

[27] WANG B， YAO Y， VISWANATH B， et al. With great training comes great vulnerability： Practical attacks against transfer learning ［C］//Proceedings of the 27th USENIX Security Symposium. Berkeley ： USENIX Association 2018： 1281-1297. DOI: 10.1080/23723556.2018.1509488 .

[28] SCHUSTER R， SCHUSTER T， MERI Y， et al. Humpty dumpty： Controlling word meanings via corpus poisoning ［C］//2020 IEEE Symposium on Security and Privacy. New York： IEEE Press， 2020： 1295-1313. DOI：10.1109/SP40000.2020.00115 .

[29] ZOU Y， ZHANG Z K， BACKES M， et al. Privacy Analysis of Deep Learning in the Wild： Membership Inference Attacks Against Transfer Learning ［EB/OL］.［2022-01-01］.

[30] YEOM S， GIACOMELLI I， FREDRIKSON M， et al. Privacy risk in machine learning： Analyzing the connection to overfitting ［C］// 2018 IEEE 31st Computer Security Foundations Symposium. New York： IEEE Press， 2018： 268-282. DOI：10.1109/CSF.2018.00027 .

[31] 李航. 统计学习方法［M］. 北京：清华大学出版社， 2012.

[32] LI H. Statistical Learning Method ［M］. Beijing： Tsinghua University Press， 2012（Ch）.

[33] HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition ［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE Press， 2016： 770-778. DOI：10.1109/CVPR.2016.90 .

基金资助

国家重点研发计划(2021YFB2700200)

国家自然科学基金(U1836202)

国家自然科学基金(62076187)

国家自然科学基金(62172303)