PVOP：隐私保护和可验证的深度神经网络预测外包

PVOP： Privacy-Preserving and Verifiable Prediction Outsourcing for Deep Neural Networks

摘要

外包的预测范式引起了各种安全问题，为了解决客户端和模型提供者的隐私问题以及云服务器缺乏可验证性的问题，提出了一个为深度神经网络预测外包提供隐私保护和可验证性的双服务器框架PVOP。在sum-ch基于加性秘密共享和D-A乘法协议的变体为深度神经网络预测外包提供隐私保护。由于本文采用不共谋的双服务器系统模型，所以可以利用加性秘密共享技术实现客户端和模型提供者的隐私保护。基于D-A乘法协议的变体实现加性共享份额的相乘。将新设计的交互式证明协议与D-A乘法协议的变体相结合，为深度神经网络模型设计了新的安全协议，在预测外包范式中实现了隐私保护和可验证性。在MNIST和CIFAR-10数据集上的实验验证了本文提出的方案。实验结果表明，大多数最先进的隐私保护类解决方案的时间开销是PVOP的1.6至247.0倍，通信开销是PVOP的1.3至27.7倍。

Abstract

Prediction as a Service has garnered significant attention recently. Unfortunately, the outsourced prediction paradigm raises various security issues. To solve the privacy issues of clients and model providers, as well as the lack of verifiability of the cloud servers, this paper proposes a novel system that provides both privacy protection and verifiability for outsourcing deep neural network prediction. Firstly, this paper designs a proprietary interactive proof protocol for deep neural network models based on the sum-check protocols, which can efficiently verify the correctness of the results returned by the cloud servers. Secondly, this paper ensures privacy protection for outsourcing deep neural network predictions by employing additive secret sharing and variants of the D-A multiplication protocol. Leveraging the dual server system model without collusion, the paper utilizes additive secret⁃sharing technology to achieve the privacy protection of the client and the model provider. Then, this paper implements the multiplication of additivity shares based on variants of the D-A protocol. Finally, this paper combines the newly designed interactive proof protocols with variants of the D-A multiplication protocol to design new secure protocols for model prediction. These new protocols successfully achieve privacy protection and verifiability in the deep neural network model prediction outsourcing paradigm. The experimental evaluations conducted on the MNIST and CIFAR-10 datasets demonstrate the practical performance of our proposed scheme, achieving 1.6× to 247.0× improved latency and 1.3× to 27.7× enhanced communication compared to most state-of-the-art solutions.

Graphical abstract

关键词

隐私保护 / 可验证性 / 预测外包 / 深度神经网络

Key words

privacy protection / verifiability / prediction outsourcing / deep neural networks

0　 引 言

近年来，预测即服务^[1]受到了广泛关注。许多公司，如微软^[2]、亚马逊^[3]和谷歌^[4]已经提供了预测即服务类的解决方案。基于这个服务，模型提供者通过将他们的模型外包给云服务器降低服务成本，云服务器代表模型提供者向客户端提供预测服务。然而，外包的预测范式引起了客户端和模型提供者的隐私问题。一方面，客户端的输入数据和预测结果可能涉及敏感信息，因此不应该向云服务器或模型提供者透露。例如，根据《通用数据保护条例》（general data protection regulations,GDPR）^[5]，疾病预测服务中的健康指标和诊断结果是敏感的私人数据。另一方面，模型，特别是深度神经网络（deep neural networks,DNNs）模型，是模型提供者的专有资产。模型提供者需要花费大量的时间和金钱收集有价值的数据，并获得训练好的模型。显然，模型提供者希望对云服务器和客户端隐藏他们的模型，以维护商业利益。

为了解决上述隐私问题，研究人员提出了各种专用的安全多方计算协议^[6~8]。这些协议假设诚实但好奇（即半诚实）的云服务器遵循协议规范，但试图从协议执行中推断附加信息，如客户端的输入数据。而且恶意的云服务器在利益的驱使下，可能会将错误的预测结果返回给客户端。例如，一个“懒惰”的云服务器可能会用一个更简单但精度更低的模型替换原始模型，以减少自身的计算开销，更有甚者，会恶意伪造返回给客户端的预测结果。文献[9]虽然实现了DNNs模型中线性层的可验证性，却不支持非线性层的可验证性。文献[10~12]虽然支持非线性层的可验证性，但还是需要额外的硬件支持。文献[13，14]虽然不需要依赖额外的硬件，但不能同时提供预测服务中的隐私保护。

本文综合考虑了半诚实的客户端和模型提供者以及可能压缩原始模型或伪造计算结果的“懒惰”云服务器，提出了一种既支持隐私保护又支持可验证性的深度神经网络（DNNs）预测外包框架PVOP。为了隐藏输入数据和模型参数，设计了基于加性秘密共享（additive secret sharing,ASS）^[15]的安全两方计算协议。在协议中采用多线性扩展^[16]的技术，对其进行扩展以支持隐私保护下的验证。即，为了验证来自云服务器返回的结果是否正确，PVOP会检查每个线性层中模型参数份额和网络输入份额的多线性扩展在随机选择的向量对上是否被正确计算。

1　 研究现状

在神经网络安全预测过程中，本文提出的方案既实现隐私保护又可验证。因此以下将神经网络安全预测的研究现状分为隐私保护预测和可验证预测两类进行阐述。

1.1　隐私保护预测

在这一类别的解决方案中，数据或模型的隐私是受保护的。这些解决方案根据所依赖密码学技术的不同又可以分为两类：基于同态加密的和基于安全多方计算的。

同态加密^[17]是一种具有代表性的密文（加密后的数据）计算技术，其中一方能够加密数据并将密文发送给另一方，后者可以在不需要解密密钥的情况下对密文执行某种或任意计算。计算完成后，关于计算结果的加密版本被发送回第一方，第一方就可以利用解密密钥对其进行解密从而获得明文形式的计算结果。伴随同态加密技术的发展，基于同态加密的各种隐私保护预测研究也获得了进一步的发展。文献[6]基于层级同态加密（leveled homomorphic encryption,LHE）^[18]技术提出了一种将学习到的神经网络转换为可应用于加密数据的神经网络的方案CryptoNets。CryptoNets允许数据所有者以密文的形式将数据发送到承载该神经网络模型的云服务器。因为云服务器无法获得解密所需的密钥，所以此加密操作确保了数据的机密性不受侵害。云服务器将神经网络应用于加密数据，进行加密预测，并将加密形式的预测结果返回给秘密密钥的所有者，密钥的所有者可以解密出明文形式的预测结果。因此，在CryptoNets方案中云服务器不会获得关于原始数据或预测结果的任何有效信息。文献[19]结合神经网络的二值化和稀疏化技术，实现了在完全同态加密的数据上使用复杂的机器学习模型时速度的提升。文献[20]提出了低延迟CryptoNets，即LoLa方案。CryptoNets方案将神经网络中的每个节点表示为单独的加密信息，而LoLa方案加密整个层并在整个计算过程中改变数据的表示以减少预测延迟。

图灵奖获得者姚期智教授在文献[21]中首次提出了安全多方计算的概念，开启了安全多方计算研究的历程。安全多方计算协议的主要目标是实现由多个参与方协同完成同一个计算任务，同时保证在这个过程中不泄露各参与方的任何私密数据。伴随安全多方计算技术的发展，基于安全多方计算协议的各种隐私保护预测研究也获得了进一步的发展。文献[7]基于秘密共享（secret sharing,SS）^[15]和混淆电路^[22]提出了MiniONN方案，它是第一种将现有神经网络转换为具有合理效率的支持隐私保护预测的不经意神经网络的方法。与以往的工作不同，MiniONN方案不需要改变模型的训练方式，为神经网络预测模型中常用的操作设计了不经意协议，并采用单指令-多数据技术来提高效率。MiniONN方案在响应延迟和消息大小方面均优于之前的方案。文献[23]提出了Chameleon，它是一种用于安全函数评估（secure function evaluation, SFE）的新框架，该框架使双方能够共同计算一个函数而无需泄露其私人输入。Chameleon框架将通用SFE协议的最优点与基于ASS的协议相结合。几乎所有开销大的加密操作都在离线阶段进行了预计算，大大减少了Chameleon框架的通信开销。文献[24]设计了GAZELLE方案，用于安全神经网络预测，它将同态加密和混淆电路技术相结合，可扩展性好，延迟低。GAZELLE方案的贡献可以总结为以下三点：首先，它设计了GAZELLE同态加密库，该库为单指令-多数据形式的相加、相乘和密文排列等基本同态操作提供了快速算法；其次，它实现了GAZELLE同态线性代数内核，将神经网络层映射到优化的同态矩阵向量乘法和卷积例程；第三，它设计了优化的加密交换协议，在同态和混淆电路编码之间无缝转换，实现了完整的神经网络预测。文献[25]的DELPHI是一个用于现实世界中具有神经网络结构的安全预测系统，允许双方在不泄露任何一方数据的情况下执行神经网络预测。DELPHI方案设计了一个混合密码协议，该协议在通信和计算开销方面都比以前的工作有所下降；DELPHI方案开发了一个自动生成神经网络架构配置的规划器，该规划器很好地实现了混合协议的性能和准确率之间的权衡。

上述这些解决方案大多假设客户端是半诚实的，即客户端不偏离协议。然而在实践中，可能存在多个客户端，每个客户端都有各自不同的动机，并可以任意行事。文献[26]为了证明恶意客户端可以完全破坏半诚实协议的安全性，首先针对最新的安全预测协议开发了一种新的模型提取攻击。该攻击使恶意客户端能够通过更少的查询学习模型权重，并扩展到更深的网络。其次，受攻击严重性的驱使，该文献设计并实现了一个有效的可抵抗恶意客户端的两方安全预测协议MUSE。MUSE将其大部分的加密开销移入预处理阶段，使得其在时间和通信开销方面得到了很大的改善。文献[27]设计并实现了SIMC方案，它是一个新的密码系统，用于恶意客户端威胁模型中的安全预测。当MUSE方案作为安全预测基准时，MUSE方案的通信开销是SIMC方案的23至29倍，而SIMC方案的时间开销是MUSE方案的11.4倍。其次，SIMC方案展示了如何将大部分的加密成本转移到独立于输入的预处理阶段。实际上，SIMC方案的性能优于最先进的半诚实安全预测系统。

1.2　可验证预测

云计算带来的安全风险刺激了可验证计算（verifiable computing,VC）^[28]研究的理论进步。可验证计算允许客户端能够可证明地验证一个不受信任的云服务器是否正确执行了计算。为此，云服务器需要向客户端提供（除了计算结果之外）一个关于结果正确性的数学证明。客户端能够以极大概率拒绝云服务器提供的任何不正确的计算结果或证明，而始终接受正确的结果和相应的证明。文献[9]提出了一个实现矩阵乘法的IP协议，设计了一个针对一般数据并行计算的交互式证明协议。与以前的工作相比，该协议可以更有效地验证复杂的计算，只要该计算独立地应用于许多不同的数据。此外，该文献将证明者的运行时间减少到O\left(S\right)。也就是说，该文献的证明者可以评估电路并保证正确性，与评估未验证的电路相比，只增加了一个常数因子。文献[14]展示了如何在O\left(S\mathrm{l}\mathrm{o}\mathrm{g}S\right)时间内实现sum-check协议^[29]中的证明者，其中S是计算函数对应的算术电路的大小。文献[13]开创性地提出了如何使用sum-check协议设计用于验证算术电路执行的IP系统（现在被称为GKR系统）。GKR系统将算术电路的节点组织成层，即从电路的输入开始，当前层的输出反馈到下一层作为下一层的输入。GKR系统中算术电路的分层性质与多层深度神经网络的结构几乎完全一致，故而激发了将基于GKR的IP系统用于验证深度神经网络预测的想法。其中，预测使用的深度神经网络必须容易被表示为算术电路。

可验证预测的其他解决方案需要客户端做出信任假设，而实际上客户端很难做到。例如，基于可信执行环境的解决方案[10,11]，要求客户端必须信任硬件制造商，并假设硬件是防篡改的。基于云服务器执行时间的审计解决方案^[12]需要对云服务器的硬件配置有精确的了解，并假设云服务器没有超频。文献[10]通过在可信和不可信设备之间有效地划分深度神经网络计算，研究深度神经网络在可信执行环境中的高性能执行。基于矩阵乘法的有效外包方案，该文献提出了Slalom，它是一个将深度神经网络中所有线性层的执行从可信执行环境（如Intel SGX、TrustZone和Sanctum）安全地委托给更快但不可信的协同定位处理器的框架。该文献通过在Intel SGX运行深度神经网络评估Slalom，并选择性地将工作委托给不可信的图形处理单元。

2　 背景知识

2.1　深度神经网络

DNNs是一种常用的前馈神经网络，即上一层的输出作为下一层的输入。第一层的输入是输入数据，最后一层的输出是模型对输入数据的预测结果。一个深度神经网络模型会对输入数据执行一系列的线性操作和非线性操作。下面简要描述这些线性层和非线性层。

1) 全连接层：假设第i层是全连接层，该层的输入是输入向量{\mathit{y}}_{i-\mathrm{1}}，权重矩阵{\mathit{w}}_i和偏置{\mathit{b}}_i，则该层的输出是{\mathit{y}}_i，且满足{\mathit{y}}_i={\mathit{w}}_i\bullet {\mathit{y}}_{i-\mathrm{1}}+{\mathit{b}}_i。

2) 卷积层：卷积层可以表示为一个（较大的）矩阵乘法^[30]。例如，3×3的输入矩阵\mathit{X}与2×2的核（权重矩阵）\mathit{K}的二维卷积，可以用矩阵乘法的形式表示，如（1）式所示：

\begin{array}{l}\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\left(\left[\begin{array}{ccc}{x}_{\mathrm{1}}& x_{\mathrm{2}}& x_{\mathrm{3}}\\ x_{\mathrm{4}}& x_{\mathrm{5}}& x_{\mathrm{6}}\\ x_{\mathrm{7}}& x_{\mathrm{8}}& x_{\mathrm{9}}\end{array}\right],\left[\begin{array}{cc}{k}_{\mathrm{1}}& k_{\mathrm{2}}\\ k_{\mathrm{3}}& k_{\mathrm{4}}\end{array}\right]\right)=\\ \left[\begin{array}{cc}\begin{array}{cc}{x}_{\mathrm{1}}& x_{\mathrm{2}}\\ x_{\mathrm{2}}& x_{\mathrm{3}}\end{array}& \begin{array}{cc}{x}_{\mathrm{4}}& x_{\mathrm{5}}\\ x_{\mathrm{5}}& x_{\mathrm{6}}\end{array}\\ \begin{array}{cc}{x}_{\mathrm{4}}& x_{\mathrm{5}}\\ x_{\mathrm{5}}& x_{\mathrm{6}}\end{array}& \begin{array}{cc}{x}_{\mathrm{7}}& x_{\mathrm{8}}\\ x_{\mathrm{8}}& x_{\mathrm{9}}\end{array}\end{array}\right]\bullet \left[\begin{array}{c}{k}_{\mathrm{1}}\\ \begin{array}{l}{k}_{\mathrm{2}}\\ k_{\mathrm{3}}\\ k_{\mathrm{4}}\end{array}\end{array}\right]\end{array}（1）

3) 激活层：激活层主要在卷积层或全连接层之后使用，以提高DNNs的非线性表达能力。PVOP使用二次激活函数作为默认的激活层。二次激活层的输出只是将其输入向量中的每个元素分别进行平方。相关文献^[31，32]已经证明了二次激活层的可行性。

4) 池化层：池化层主要用于缩小特征映射的大小，反映主要特征。PVOP使用SumPool作为默认的池化层。SumPool主要是计算上一层中每个正方形区域的元素总和。

2.2　加性秘密共享

ASS可以实现在多方之间安全地共享一个秘密，同时保证每一次共享都不会泄露有关该秘密的任何信息。而且只有使用足够的共享份额才能恢复秘密。关于ASS，更多细节请读者参阅文献[15]。为了加性共享一个秘密s\in {\mathbb{Z}}_q，文献[15]定义了一个共享算法\mathrm{S}\mathrm{S}.\mathrm{S}\mathrm{h}\mathrm{a}\mathrm{r}\mathrm{e}。为了实现\mathrm{S}\mathrm{S}.\mathrm{S}\mathrm{h}\mathrm{a}\mathrm{r}\mathrm{e}，抽样了一个伪随机函数\Delta。给定一个种子，\Delta可以在{\mathbb{Z}}_q中输出一系列随机值。用\Delta选取一个随机值s\text{'}\in Z_q，并计算s″=s-s\text{'}\mathrm{m}\mathrm{o}\mathrm{d}q。\mathrm{S}\mathrm{S}.\mathrm{S}\mathrm{h}\mathrm{a}\mathrm{r}\mathrm{e}(s)的输出为(s\text{'},s″)，其中s\text{'},s″\in {\mathbb{Z}}_q。共享份额可以被用来恢复秘密s，即s\text{'}+s″=s\mathrm{m}\mathrm{o}\mathrm{d}q，称为\mathrm{S}\mathrm{S}.\mathrm{R}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{v}\mathrm{e}\mathrm{r}算法。

2.3　数字签名

假设(\mathrm{G}\mathrm{e}\mathrm{n},\mathrm{S}\mathrm{i}\mathrm{g},\mathrm{V}\mathrm{e}\mathrm{r})是一种数字签名方案，如RSA。\mathrm{G}\mathrm{e}\mathrm{n}({\mathrm{1}}^{\lambda })算法将安全参数{\mathrm{1}}^{\lambda }作为输入，并输出一对公私钥(\mathrm{p}\mathrm{k},\mathrm{s}\mathrm{k})。\mathrm{S}\mathrm{i}\mathrm{g}(\mathrm{s}\mathrm{k},\mathrm{m}\mathrm{s}\mathrm{g})算法将私钥\mathrm{s}\mathrm{k}和消息\mathrm{m}\mathrm{s}\mathrm{g}作为输入，并输出一个签名\mathrm{s}\mathrm{i}\mathrm{g}。算法\mathrm{V}\mathrm{e}\mathrm{r}(\mathrm{p}\mathrm{k},(\mathrm{m}\mathrm{s}\mathrm{g},\mathrm{s}\mathrm{i}\mathrm{g}))将公钥\mathrm{p}\mathrm{k}和消息-签名对(\mathrm{m}\mathrm{s}\mathrm{g},\mathrm{s}\mathrm{i}\mathrm{g})作为输入，并输出一个比特，该比特为0/1表示该消息-签名对无效/有效。

2.4　D-A协议

Du和Atallah^[33]提出了一个基于ASS的用来实现矩阵乘法操作的D-A协议。该协议由三方参与，分别为P₀（持有\mathit{x}）、P₁（持有\mathit{y}）和P₂（持有随机数）。这个协议的目标是计算\mathit{z}=\mathit{x}-\mathit{y}，同时确保P₀对\mathit{y}一无所知，P₁对\mathit{x}一无所知。在这个协议结束时，每一方都有一个关于\mathit{z}的加性秘密共享份额。

2.5　算术电路的可验证性

GKR^[13]描述了如何验证算术电路的执行。GKR将算术电路的节点组织成层，从电路的输入开始，这一层的输出反馈到下一层的输入。GKR通过从电路输出到输入的逆向操作实现验证。具体过程：GKR使用sum-check协议^[29]将关于电路输出的验证转换为关于该层输入的验证，依次类推。该协议继续迭代，直到验证被简化为关于电路输入的验证，从而由客户端进行本地验证。根据文献[34]，验证可以由检查计算结果的多线性扩展是否在随机挑选的一对矢量上被正确计算来代替。本文用函数\mathrm{M}\mathrm{E}\left(\mathit{m},\mathit{s},\mathit{r}\right)表示\mathit{m}的多线性扩展。其中，\mathit{m}是一个矩阵或向量，\mathit{s}和\mathit{r}是一对随机向量。

3　 模型和设计目标

3.1　系统模型

图1描述了PVOP的系统架构，它包含三种实体：客户端、模型提供者和云服务器。在该系统中，模型提供者通过将他的模型外包给两个云服务器来降低自身的服务成本，然后云服务器代替模型提供者向客户端提供预测服务。该系统的具体工作流程可以归纳如下：

1) 模型提供者将自己的深度神经网络模型外包给两个云服务器。

2) 客户端将他的输入数据以加性秘密共享的方式发送给两个云服务器S₀和S₁。

3) 在从模型提供者和客户端接收到足够的信息后，两个云服务器S₀和S₁将协同执行本文设计的安全两方计算协议。

4) 两个云服务器将各自的证明、证明的签名以及预测结果的共享份额一起返回给客户端。如果所有证明全都验证成功，客户端则利用收到的两个预测结果的共享份额恢复出预测结果。

3.2　威胁模型

本文假设模型提供者和客户端是半诚实的，这意味着他们遵循协议规范，但对其他实体的信息感到好奇^[35]。这个假设是合理的，因为模型提供者和客户端都希望能保证预测服务的质量。

本文假设云服务器是恶意的，他们可能会推断其他实体的信息并修改协议或计算结果。此外，本文假设两个云服务器不合谋，这在现实世界的应用中可以通过租用两个不同的云计算平台^[2，3]实现。

最后，任何两个实体之间都有安全的通信渠道，这可以通过传统的加密协议来保证，如SSL/TLS^[36]。

3.3　设计目标

1) 客户端隐私保护：客户端的输入数据和预测结果不应该透露给模型提供者和云服务器。

2) 模型隐私保护：模型参数不应该透露给云服务器和客户端。与所有先前的工作一样，PVOP并不隐藏DNNs模型的体系结构，例如模型中每层的类型和尺寸。

3) 可验证性：可以验证从云服务器返回结果的正确性。可验证性与客户端的隐私密切相关，因为一旦云服务器可以操纵返回的结果，客户端输入数据被泄露的风险往往会增加^[37]。

4) 准确率：与原始DNNs预测基准相比，PVOP准确率的降低应该是在可接受范围内的。

4　 PVOP

4.1　预处理阶段

在这个阶段，模型提供者在两台云服务器上部署一个预先训练好的模型并生成预测阶段所需使用的随机数。预处理阶段包括两个步骤：模型部署和随机数的生成。

1) 模型部署：这一步的目的是在两台云服务器上部署预先训练好的模型，而不向他们透露模型参数。DNNs模型有四种类型的层。对于卷积层和全连接层，模型提供者使用ASS处理模型参数（即权重和偏置）。具体地，模型提供者运行\left({〈{\mathit{w}}_i〉}_{\mathrm{0}},{〈{\mathit{w}}_i〉}_{\mathrm{1}}\right)\leftarrow \mathrm{S}\mathrm{S}.\mathrm{S}\mathrm{h}\mathrm{a}\mathrm{r}\mathrm{e}\left({\mathit{w}}_i\right)和\left({〈{\mathit{b}}_i〉}_{\mathrm{0}},{〈{\mathit{b}}_i〉}_{\mathrm{1}}\right)\leftarrow\mathrm{S}\mathrm{S}.\mathrm{S}\mathrm{h}\mathrm{a}\mathrm{r}\mathrm{e}\left({\mathit{b}}_i\right)，其中，{\mathit{w}}_i是第i层的权重，{\mathit{b}}_i是第i层的偏置。然后，{〈{\mathit{w}}_i〉}_{\mathrm{0}}和{〈{\mathit{b}}_i〉}_{\mathrm{0}}（{〈{\mathit{w}}_i〉}_{\mathrm{1}}和{〈{\mathit{b}}_i〉}_{\mathrm{1}}）、层的类型和该层在网络中的位置发送给S₀（S₁）。对于激活层和池化层，模型提供者直接向S₀和S₁发送层的类型和它在网络中的位置。

2) 随机数的生成：生成预测阶段所需的各种随机数。首先，对于线性层或激活层的第i层，模型提供者生成两个随机数a_{i,\mathrm{0}}和a_{i,\mathrm{1}}。如果第i层是激活层，模型提供者还要计算u_i=a_{i,\mathrm{0}}\bullet a_{i,\mathrm{1}}及其共享份额\left({〈u_i〉}_{\mathrm{0}},{〈u_i〉}_{\mathrm{1}}\right)\leftarrow \mathrm{S}\mathrm{S}.\mathrm{S}\mathrm{h}\mathrm{a}\mathrm{r}\mathrm{e}\left(u_i\right)。然后，所有a_{i,\mathrm{0}}和{〈u_i〉}_{\mathrm{0}}(a_{i,\mathrm{1}}和{〈u_i〉}_{\mathrm{1}})都被发送给S₀(S₁)。接下来，模型提供者为每个线性层生成足够多的随机向量对\left({\mathit{s}}_i,{\mathit{r}}_i\right)。最后，模型提供者使用数字签名方案中的\mathrm{G}\mathrm{e}\mathrm{n}算法生成一对公私钥\left(\mathrm{p}\mathrm{k},\mathrm{s}\mathrm{k}\right)。

4.2　预测阶段

这个阶段的目的是实现隐私保护和可验证的DNNs预测。

1) 首先，客户端将其输入以加性秘密共享的形式发送给两个云服务器。然后，客户端为输入层生成足够多的随机向量对。

2) 两个云服务器从模型提供者和客户端接收到足够的信息后，将协同执行本文设计的安全两方协议。

3) 只有在当前层中模型提供者的验证成功之后，两个云服务器才会执行下一层协议。否则，系统会立即停止并开始新一轮的迭代。

4) 当所有层都执行完成后，客户端选择一对随机向量分别发送给两个云服务器，并在本地计算关于输入份额的多线性扩展。然后，S₀（S₁）将证明{\pi }_{\mathrm{0}}（{\pi }_{\mathrm{1}}）发送给模型提供者，接着模型提供者返回\mathrm{s}\mathrm{i}{\mathrm{g}}_{\mathrm{0}}\leftarrow \mathrm{S}\mathrm{i}\mathrm{g}\left(\mathrm{s}\mathrm{k},{\pi }_{\mathrm{0}}\right)（\mathrm{s}\mathrm{i}{\mathrm{g}}_{\mathrm{1}}\leftarrow \mathrm{S}\mathrm{i}\mathrm{g}\left(\mathrm{s}\mathrm{k},{\pi }_{\mathrm{1}}\right)）给S₀（S₁）。

5) S₀（S₁）将预测结果的共享份额、证明和签名发送给客户端。客户端使用数字签名方案中的\mathrm{V}\mathrm{e}\mathrm{r}算法对签名进行验证，如果验证成功，再将证明与本地的多线性扩展结果进行比较，如果两者一致则从共享份额中恢复出预测结果。

接下来描述这一阶段所使用的协议。

1) 隐私保护和可验证的输入层协议：该协议隐藏了客户端的输入数据\mathit{x}并计算关于输入数据的多线性扩展。为了秘密分享\mathit{x}，客户端首先计算\left({〈\mathit{x}〉}_{\mathrm{0}},{〈\mathit{x}〉}_{\mathrm{1}}\right)\leftarrow \mathrm{S}\mathrm{S}.\mathrm{S}\mathrm{h}\mathrm{a}\mathrm{r}\mathrm{e}\left(\mathit{x}\right)，并将{〈\mathit{x}〉}_{\mathrm{0}}\left({〈\mathit{x}〉}_{\mathrm{1}}\right)发送给S₀（S₁）。同时，客户端为输入层选择一对随机向量\left({\mathit{s}}_{\mathrm{0}},{\mathit{r}}_{\mathrm{0}}\right)，并将其发送给S₀和S₁。最后，客户端在本地计算\mathrm{M}\mathrm{E}\left({〈\mathit{x}〉}_{\mathrm{0}},{\mathit{s}}_{\mathrm{0}},{\mathit{r}}_{\mathrm{0}}\right)和\mathrm{M}\mathrm{E}\left({〈\mathit{x}〉}_{\mathrm{1}},{\mathit{s}}_{\mathrm{0}},{\mathit{r}}_{\mathrm{0}}\right)。

2) 隐私保护和可验证的卷积层协议：该协议用于计算矩阵乘法，同时支持验证，如协议1所示。该协议在第i层的输入为{〈{\mathit{y}}_{i-\mathrm{1}}〉}_{\mathrm{0}}，{〈{\mathit{y}}_{i-\mathrm{1}}〉}_{\mathrm{1}}，{〈{\mathit{w}}_{i-\mathrm{1}}〉}_{\mathrm{0}}，{〈{\mathit{w}}_{i-\mathrm{1}}〉}_{\mathrm{1}}，{〈{\mathit{b}}_{i-\mathrm{1}}〉}_{\mathrm{0}}，{〈{\mathit{b}}_{i-\mathrm{1}}〉}_{\mathrm{1}}，a_{i-\mathrm{1,0}}和a_{i-\mathrm{1,1}}。加性共享的特征映射{〈{\mathit{y}}_{i-\mathrm{1}}〉}_{\mathrm{0}}，{〈{\mathit{y}}_{i-\mathrm{1}}〉}_{\mathrm{1}}来自上一层或客户端。滤波器{〈{\mathit{w}}_{i-\mathrm{1}}〉}_{\mathrm{0}}，{〈{\mathit{w}}_{i-\mathrm{1}}〉}_{\mathrm{1}},偏置{〈{\mathit{b}}_{i-\mathrm{1}}〉}_{\mathrm{0}}，{〈{\mathit{b}}_{i-\mathrm{1}}〉}_{\mathrm{1}},以及随机数a_{i-\mathrm{1,0}}，a_{i-\mathrm{1,1}}是由模型提供者在预处理阶段上传的。该协议的关键思想如（2）式所示：

z_{i-\mathrm{1}}={\mathit{w}}_{i-\mathrm{1}}\bullet {\mathit{y}}_{i-\mathrm{1}}+{\mathit{b}}_{i-\mathrm{1}}=\left({〈{\mathit{w}}_{i-\mathrm{1}}〉}_{\mathrm{0}}+{〈{\mathit{w}}_{i-\mathrm{1}}〉}_{\mathrm{1}}\right)\bullet \left({〈{\mathit{y}}_{i-\mathrm{1}}〉}_{\mathrm{0}}+{〈{\mathit{y}}_{i-\mathrm{1}}〉}_{\mathrm{1}}\right)+\left({〈{\mathit{b}}_{i-\mathrm{1}}〉}_{\mathrm{0}}+{〈{\mathit{b}}_{i-\mathrm{1}}〉}_{\mathrm{1}}\right)=

{〈{\mathit{w}}_{i-\mathrm{1}}〉}_{\mathrm{0}}\bullet {〈{\mathit{y}}_{i-\mathrm{1}}〉}_{\mathrm{0}}+{〈{\mathit{w}}_{i-\mathrm{1}}〉}_{\mathrm{1}}\bullet {〈{\mathit{y}}_{i-\mathrm{1}}〉}_{\mathrm{1}}+{〈{\mathit{w}}_{i-\mathrm{1}}〉}_{\mathrm{0}}\bullet {〈{\mathit{y}}_{i-\mathrm{1}}〉}_{\mathrm{1}}+{〈{\mathit{w}}_{i-\mathrm{1}}〉}_{\mathrm{1}}\bullet {〈{\mathit{y}}_{i-\mathrm{1}}〉}_{\mathrm{0}}+{〈{\mathit{b}}_{i-\mathrm{1}}〉}_{\mathrm{0}}+{〈{\mathit{b}}_{i-\mathrm{1}}〉}_{\mathrm{1}}=

\left({〈{\mathit{w}}_{i-\mathrm{1}}〉}_{\mathrm{0}}\bullet {〈{\mathit{y}}_{i-\mathrm{1}}〉}_{\mathrm{0}}+{〈{\mathit{b}}_{i-\mathrm{1}}〉}_{\mathrm{0}}\right)+\left({〈{\mathit{w}}_{i-\mathrm{1}}〉}_{\mathrm{1}}\bullet {〈{\mathit{y}}_{i-\mathrm{1}}〉}_{\mathrm{1}}+{〈{\mathit{b}}_{i-\mathrm{1}}〉}_{\mathrm{1}}\right)+{〈{\mathit{w}}_{i-\mathrm{1}}〉}_{\mathrm{0}}\bullet {〈{\mathit{y}}_{i-\mathrm{1}}〉}_{\mathrm{1}}+

{〈{\mathit{w}}_{i-\mathrm{1}}〉}_{\mathrm{1}}\bullet {〈{\mathit{y}}_{i-\mathrm{1}}〉}_{\mathrm{0}}-a_{i-\mathrm{1,0}}\bullet {〈{\mathit{y}}_{i-\mathrm{1}}〉}_{\mathrm{1}}+a_{i-\mathrm{1,0}}\bullet {〈{\mathit{y}}_{i-\mathrm{1}}〉}_{\mathrm{1}}-{〈{\mathit{w}}_{i-\mathrm{1}}〉}_{\mathrm{1}}\bullet a_{i-\mathrm{1,0}}+{〈{\mathit{w}}_{i-\mathrm{1}}〉}_{\mathrm{1}}\bullet a_{i-\mathrm{1,0}}=

\left({〈{\mathit{w}}_{i-\mathrm{1}}〉}_{\mathrm{0}}\bullet {〈{\mathit{y}}_{i-\mathrm{1}}〉}_{\mathrm{0}}+{〈{\mathit{b}}_{i-\mathrm{1}}〉}_{\mathrm{0}}+\left({〈{\mathit{w}}_{i-\mathrm{1}}〉}_{\mathrm{1}}+a_{i-\mathrm{1,1}}+{〈{\mathit{y}}_{i-\mathrm{1}}〉}_{\mathrm{1}}-a_{i-\mathrm{1,1}}\right)\bullet a_{i-\mathrm{1,0}}\right)+\left({〈{\mathit{w}}_{i-\mathrm{1}}〉}_{\mathrm{1}}\bullet {〈{\mathit{y}}_{i-\mathrm{1}}〉}_{\mathrm{1}}+{〈{\mathit{b}}_{i-\mathrm{1}}〉}_{\mathrm{1}}+{〈{\mathit{w}}_{i-\mathrm{1}}〉}_{\mathrm{1}}\bullet \left({〈{\mathit{y}}_{i-\mathrm{1}}〉}_{\mathrm{0}}-a_{i-\mathrm{1,0}}\right)+\left({〈{\mathit{w}}_{i-\mathrm{1}}〉}_{\mathrm{0}}-a_{i-\mathrm{1,0}}\right)\bullet {〈{\mathit{y}}_{i-\mathrm{1}}〉}_{\mathrm{1}}\right)={〈{\mathit{z}}_{i-\mathrm{1}}〉}_{\mathrm{0}}+{〈{\mathit{z}}_{i-\mathrm{1}}〉}_{\mathrm{1}}（2）

3) 隐私保护和可验证的全连接层协议：正如2.1节所介绍的，全连接层与卷积层的计算形式相同，都是权重矩阵与输入向量之间的点积。因此，该协议可以用与隐私保护和可验证的卷积层协议相同的方式实现。为了简洁起见，本文省略了相关细节。

4) 隐私保护和可验证的激活层协议：该协议在支持验证的同时，计算二次激活函数{\mathit{y}}_i={\left({\mathit{z}}_{i-\mathrm{1}}\right)}^{\mathrm{2}}，如协议2所示。该层的验证简单地转换为关于上一层的验证。该协议在第i层的输入为{〈{\mathit{z}}_{i-\mathrm{1}}〉}_{\mathrm{0}}，{〈{\mathit{z}}_{i-\mathrm{1}}〉}_{\mathrm{1}}，a_{i,\mathrm{0}}，a_{i,\mathrm{1}}，{〈u_i〉}_{\mathrm{0}}和{〈u_i〉}_{\mathrm{1}}。加性共享的特性映射{〈{\mathit{z}}_{i-\mathrm{1}}〉}_{\mathrm{0}}和{〈{\mathit{z}}_{i-\mathrm{1}}〉}_{\mathrm{1}}来自上一层。随机数a_{i,\mathrm{0}}，a_{i,\mathrm{1}}，{〈u_i〉}_{\mathrm{0}}和{〈u_i〉}_{\mathrm{1}}是由模型提供者在预处理阶段上传的。该协议的关键思想如（3）式所示：

{〈{\mathit{y}}_i〉}_{\mathrm{0}}+{〈{\mathit{y}}_i〉}_{\mathrm{1}}={\mathit{y}}_i={\left({\mathit{z}}_{i-\mathrm{1}}\right)}^{\mathrm{2}}={\left({〈{\mathit{z}}_{i-\mathrm{1}}〉}_{\mathrm{0}}+{〈{\mathit{z}}_{i-\mathrm{1}}〉}_{\mathrm{1}}\right)}^{\mathrm{2}}={\left({〈{\mathit{z}}_{i-\mathrm{1}}〉}_{\mathrm{0}}\right)}^{\mathrm{2}}+{\left({〈{\mathit{z}}_{i-\mathrm{1}}〉}_{\mathrm{1}}\right)}^{\mathrm{2}}+\mathrm{2}\bullet {〈{\mathit{z}}_{i-\mathrm{1}}〉}_{\mathrm{0}}\bullet {〈{\mathit{z}}_{i-\mathrm{1}}〉}_{\mathrm{1}}=

{〈{\mathit{z}}_{i-\mathrm{1}}〉}_{\mathrm{0}}\bullet {〈{\mathit{z}}_{i-\mathrm{1}}〉}_{\mathrm{0}}+{〈{\mathit{z}}_{i-\mathrm{1}}〉}_{\mathrm{1}}\bullet {〈{\mathit{z}}_{i-\mathrm{1}}〉}_{\mathrm{1}}+\mathrm{2}\bullet {〈{\mathit{z}}_{i-\mathrm{1}}〉}_{\mathrm{0}}\bullet {〈{\mathit{z}}_{i-\mathrm{1}}〉}_{\mathrm{1}}-\mathrm{2}{〈{\mathit{z}}_{i-\mathrm{1}}〉}_{\mathrm{1}}\bullet a_{i,\mathrm{0}}+\mathrm{2}{〈{\mathit{z}}_{i-\mathrm{1}}〉}_{\mathrm{1}}\bullet a_{i,\mathrm{0}}-\mathrm{2}{a}_{i,\mathrm{0}}\bullet a_{i,\mathrm{1}}+\mathrm{2}{u}_i=

\left({〈{\mathit{z}}_{i-\mathrm{1}}〉}_{\mathrm{0}}\bullet {〈{\mathit{z}}_{i-\mathrm{1}}〉}_{\mathrm{0}}-\left({〈{\mathit{z}}_{i-\mathrm{1}}〉}_{\mathrm{1}}+a_{i,\mathrm{1}}\right)\bullet \mathrm{2}{a}_{i,\mathrm{0}}+\mathrm{2}{〈u_i〉}_{\mathrm{0}}\right)+\left({〈{\mathit{z}}_{i-\mathrm{1}}〉}_{\mathrm{1}}\bullet {〈{\mathit{z}}_{i-\mathrm{1}}〉}_{\mathrm{1}}+\mathrm{2}{〈{\mathit{z}}_{i-\mathrm{1}}〉}_{\mathrm{1}}\bullet \left({〈{\mathit{z}}_{i-\mathrm{1}}〉}_{\mathrm{0}}+a_{i,\mathrm{0}}\right)+\mathrm{2}{〈u_i〉}_{\mathrm{1}}\right)（3）

5) 隐私保护和可验证的池化层协议：该协议在支持验证的同时计算SumPool。由于SumPool层没有模型参数，S₀和S₁只是输出和的值并将它们用作下一层的输入。该层的验证简单地转换为关于上一层的验证。

5　 实验评估

5.1　实验设置

为了检测PVOP的性能，本文用C++实现了一个系统原型，硬件环境：台式计算机，英特尔酷睿i7-9700H处理器和16 GB内存。使用Eigen库^[38]实现更快的矩阵乘法。环被设定为\mathbb{Z}₂⁶⁴，且本文用文献[39]中的方法实现整数环中的定点算术。

5.2　数据集和DNNs

本文在以下数据集和网络架构上评估PVOP。

1) MNIST数据集：MNIST^[40]是一个有关手写数字识别的数据集，包括60 000个训练样本和10 000个测试样本。每个样本是一张28×28像素的灰度手写数字图像，分为10类（0~9）。给定一张输入图像，本文的目标是正确预测其代表的手写数字。为了进行基准测试和比较，本文在MNIST数据集上采用了两种DNNs架构。

网络A：来自文献[39]的3层全连接网络，其中激活层为二次激活。

网络B：来自文献[7]的2层卷积和2层全连接网络，其中激活层为二次激活，池化层为SumPool。

2) CIFAR-10数据集：CIFAR-10^[41]是一个标准数据集，由RGB图像(大小为3×32×32,3个彩色通道，宽度和高度均为32)组成，分为10类(如汽车，鸟类)。训练集包括50 000张图像，测试集包括10 000张图像。使用MiniONN^[7]中指定的7层卷积神经网络，称为网络C。

5.3　MNIST数据集上的实验结果

1) 预测准确率：PVOP对激活层（只支持二次激活）和池化层（只支持SumPool）有一定的限制，且要求权重和输入都是整数（在域\mathbb{Z}₂⁶⁴内）。因此，本文首先分析这些限制对预测准确率的影响。图2比较了不同精度（degrees,d）下基准（采用线性整流激活和最大池化）和PVOP的预测准确率，由于PVOP采用定点算术，所以d决定了预测准确率。当d设置为6时，PVOP的预测准确率与基准相当。如图2所示，采用网络A和网络B,PVOP的准确率分别为96.02%和98.33%，接近MNIST数据集的最高准确率（99.79%）。

2) 性能对比：PVOP是一个既支持隐私保护又支持验证的预测外包框架，因此本文重点比较PVOP与其他仅支持隐私保护的预测方案。本文将PVOP处理一个MNIST实例的运行时间和通信开销与其他先进的隐私保护方案进行比较，结果如表1所示。如前所述，本文避免在非线性操作中使用混淆电路^[22]和在线性操作中使用加密技术。这是因为，在以往的所有工作中，混淆电路是通信开销大的主要因素，而加密技术是计算开销大的主要因素。由表1可知，文献[6，7，39，42]的时间开销是PVOP的11.2至247.0倍，通信开销是PVOP的1.6至27.7倍。PVOP的时间开销和通信开销仅是GAZELLE的1.1倍。

5.4　CIFAR-10数据集上的实验结果

1) 预测准确率：采用网络C时,PVOP在CIFAR-10数据集上的准确率为81%，达到与基线预测相似的性能（准确率损失小于0.61%）。生成证明所增加的云服务器的执行时间仅比未验证的执行时间多9.4%。

2) 性能对比：比较了PVOP处理一个CIFAR-10实例与其他最先进的隐私保护方案的运行时间和通信开销，如表2所示。由表2可以看出，文献[7，24~27]的时间开销是PVOP的1.6至19.6倍，通信开销是PVOP的1.3至24.9倍。PVOP的时间开销约为GAZELLE的2.2倍，通信开销约为GAZELLE的2.3倍。

6　 结 语

本文提出了PVOP，设计了两个用于计算线性层和激活层的支持隐私保护和可验证的高效协议。PVOP是第一个既支持隐私保护又支持可验证的DNNs预测外包框架，而且不影响预测准确率。在MNIST^[40]和CIFAR-10^[41]数据集上的实验评估验证了本文提出方案的实际性能较好。

将预测外包中的隐私保护解决方案一般化或以绝对的方式选择一种解决方案而不是另一种解决方案都不是正确的方向。事实上，要成功设计一个解决方案，达到适当的可用性、高效性和安全性，取决于不同的约束和需求，例如通信成本、时间限制、典型客户端设备执行加密/解密或部署本地特征提取器的可用资源。因此，解决方案需在涉及可用性、高效性、安全性和解决不同应用的约束和需求的能力方面进行一定的权衡。

最后，为了解决保护隐私和可验证的深度神经网络预测服务的计算和通信成本太高的问题，探索神经网络的压缩方法是一个可行的研究方向。文献[43]的研究表明，在量化、修剪以及霍夫曼编码方面进行探索，可使神经网络能够在不影响其准确率的前提下实现存储需求的显著降低。

参考文献

[1] WANG W， WANG S， GAO J， et al. Rafiki： Machine learning as an analytics service system ［J］. Proceedings of the VLDB Endowment， 2018， 12（2）： 128-140. DOI： 10.14778/3282495.3282499 .

[2] AZURE. Machine Learning Studio ［EB/OL］. ［2022-01-10］.

[3] AWS. Machine Learning on Aws ［EB/OL］. ［2022-01-13］.

[4] Google. Cloud Ai ［EB/OL］. ［2022-01-13］.

[5] General Data Protection Regulation ［EB/OL］. ［2018-05-25］. DOI: 10.1093/oso/9780198826491.003.0060 .

[6] DOWLIN N， GILAD-BACHRACH R， LAINE K， et al. CryptoNets： Applying neural networks to encrypted data with high throughput and accuracy ［C］// Proceedings of the 33rd International Conference on Machine Learning. New York： IEEE， 2016： 201-210. DOI: 10.1109/jproc.2016.2622218 .

[7] LIU J， JUUTI M， LU Y， et al. Oblivious neural network predictions via MiniONN transformations［C］//Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security. New York： ACM， 2017： 619-631. DOI： 10.1145/3133956.3134056 .

[8] LI M H， YAN Y J， WANG Q， et al. Secure prediction of neural network in the cloud［J］. IEEE Network， 2021， 35（1）： 251-257. DOI： 10.1109/MNET.011.2000293 .

[9] THALER J. Time-optimal interactive proofs for circuit evaluation［C］//Annual Cryptology Conference. Berlin： Springer， 2013： 71-89. DOI：10.1007/978-3-642-40084-1_5 .

[10] TRAMER F， DAN B. Slalom： Fast， Verifiable and Private Execution of Neural Networks in Trusted Hardware［DB/OL］.［2022-09-02］.

[11] GENNARO R， GENTRY C， PARNO B. Non-interactive verifiable computing： Outsourcing computation to untrusted workers［C］//Annual Cryptology Conference. Berlin： Springer， 2010： 465-482. DOI：10.1007/978-3-642-14623-7_25 .

[12] MONROSE F， WYCKOFF P， RUBIN A D. Distributed Execution with Remote Audit［DB/OL］.［2022-10-23］

[13] GOLDWASSER S， KALAI Y T， ROTHBLUM G N. Delegating computation： Interactive proofs for muggles［J］. Journal of the ACM， 2015，62（4）：Article No. 27. DOI： 10.1145/2699436 .

[14] CORMODE G， MITZENMACHER M， THALER J. Practical verified computation with streaming interactive proofs［C］//Proceedings of the 3rd Innovations in Theoretical Computer Science Conference. New York： ACM， 2012： 90-112. DOI： 10.1145/2090236.2090245 .

[15] MIGNOTTE M. How to share a secret ［C］// Proceedings of the Workshop on Cryptography. Berlin： Springer， 1982： 371-375.

[16] GHODSI Z， GU T Y， GARG S. SafetyNets： Verifiable execution of deep neural networks on an untrusted cloud［EB/OL］. 2017： arXiv： 1706.10268.

[17] GENTRY C， HALEVI S， SMART N P. Fully homomorphic encryption with polylog overhead［C］//Annual International Conference on the Theory and Applications of Cryptographic Techniques. Berlin： Springer， 2012： 465-482. DOI：10.1007/978-3-642-29011-4_28 .

[18] BOS J W， LAUTER K， LOFTUS J， et al. Improved security for a ring-based fully homomorphic encryption scheme［C］//IMA International Conference on Cryptography and Coding. Berlin： Springer， 2013： 45-64. DOI：10.1007/978-3-642-45239-0_4 .

[19] SANYAL A， KUSNER M J， GASCÓN A， et al. TAPAS： Tricks to accelerate （encrypted） prediction as a service［EB/OL］. 2018： arXiv： 1806.03461.

[20] BRUTZKUS A， GILAD-BACHRACH R， ELISHA O. Low latency privacy preserving inference ［C］// Proceedings of the 36th International Conference on Machine Learning. Long Beach： PMLR， 2019： 812-821.

[21] YAO A C. Protocols for secure computations［C］//23rd Annual Symposium on Foundations of Computer Science （SFCS 1982）. New York： IEEE Press， 2008： 160-164. DOI： 10.1109/SFCS.1982.38 .

[22] YAO A C C. How to generate and exchange secrets［C］//27th Annual Symposium on Foundations of Computer Science （SFCS 1986）. New York： IEEE Press， 2008： 162-167. DOI： 10.1109/SFCS.1986.25 .

[23] RIAZI M S， WEINERT C， TKACHENKO O， et al. Chameleon： A hybrid secure computation framework for machine learning applications［C］//Proceedings of the 2018 on Asia Conference on Computer and Communications Security. New York： ACM， 2018： 707-721. DOI： 10.1145/3196494.3196522 .

[24] JUVEKAR C， VAIKUNTANATHAN V， CHANDRAKASAN A. Gazelle： A low latency framework for secure neural network inference［EB/OL］. 2018： arXiv： 1801.05507.

[25] PRATYUSH M， Ryan L， AKSHAYARAM S， et al. DELPHI： A cryptographic inference service for neural net-works ［C］// Proceedings of the 29th USENIX Security Symposium. Baltimore： USENIX Association， 2020： 2505-2522.

[26] LEHMKUHL R， MISHRA P， SRINIVASAN A， et al. Muse： Secure inference resilient to malicious clients ［C］// Proceedings of the 30th USENIX Security Symposium. Baltimore： USENIX Association， 2021： 2201-2218.

[27] CHANDRAN N， GUPTA D， OBBATTU S L B， et al. SIMC： ML inference secure against malicious clients at semi-honest cost ［C］// Proceedings of the 31th USENIX Security Symposium. Boston： USENIX Association， 2022： 1361-1378.

[28] WALFISH M， BLUMBERG A J. Verifying computations without reexecuting them［J］. Communications of the ACM， 2015， 58（2）： 74-84. DOI: 10.1145/2641562 .

[29] LUND C， FORTNOW L， KARLOFF H， et al. Algebraic methods for interactive proof systems［C］//Proceedings 31st Annual Symposium on Foundations of Computer Science. New York： IEEE Press， 2002： 2-10. DOI： 10.1109/FSCS.1990.89518 .

[30] CHELLAPILLA K， PURI S， SIMARD P. High Performance Convolutional Neural Networks for Document Processing ［EB/OL］. ［2006-11-09］.

[31] GAUTIER A， NGUYEN Q， HEIN M. Globally optimal training of generalized polynomial neural networks with nonlinear spectral methods［EB/OL］. 2016： arXiv： 1610.09300.

[32] LIVNI R， SHALEV-SHWARTZ S， SHAMIR O. On the computational efficiency of training neural networks［EB/OL］. 2014： arXiv： 1410.1141.

[33] DU W L， ATALLAH M. Protocols for secure remote database access with approximate matching ［J］. E⁃Commerce Security and Privacy， 2001， 2： 87-111. DOI： 10.1007/978-1-4615-1467-1_6 .

[34] VU V， SETTY S， BLUMBERG A J， et al. A hybrid architecture for interactive verifiable computation［C］//2013 IEEE Symposium on Security and Privacy. New York： IEEE Press， 2013： 223-237. DOI： 10.1109/SP.2013.48 .

[35] CANETTI R. Universally composable security： A new paradigm for cryptographic protocols［C］//Proceedings 42nd IEEE Symposium on Foundations of Computer Science. New York： IEEE Press， 2002： 136-145. DOI： 10.1109/SFCS.2001.959888 .

[36] ELGOHARY A， SOBH T S， ZAKI M. Design of an enhancement for SSL/TLS protocols［J］. Computers & Security， 2006， 25（4）： 297-306. DOI： 10.1016/j.cose.2006.02.007 .

[37] SHOKRI R， STRONATI M， SONG C Z， et al. Membership inference attacks against machine learning models［C］//2017 IEEE Symposium on Security and Privacy （SP）. New York： IEEE Press， 2017： 3-18. DOI： 10.1109/SP.2017.41 .

[38] Eigen Library ［EB/OL］. ［2022-01-13］. DOI: 10.4324/9781003257554 .

[39] MOHASSEL P， ZHANG Y P. SecureML： A system for scalable privacy-preserving machine learning［C］//2017 IEEE Symposium on Security and Privacy （SP）. New York： IEEE Press， 2017： 19-38. DOI： 10.1109/SP.2017.12 .

[40] LECUN Y， CORTES C， BURGES C J. MNIST Dataset ［EB/OL］. ［2016-04-21］.

[41] KRIZHEVSKY A， NAIR V， HINTON G. CIFAR-10 Dataset ［EB/OL］. ［2010-05-13］.

[42] LOU Q， JIANG L. SHE： A Fast and Accurate Deep Neural Network for Encrypted Data［EB/OL］. ［2022-10-13］.

[43] HAN S， MAO H Z， DALLY W J. Deep compression： Compressing deep neural networks with pruning， trained quantization and huffman coding［EB/OL］. 2015： arXiv： 1510.00149.

基金资助

国家自然科学基金(62076187)