麻豆 机器学习模子安全与苦衷研究综述
在大数据期间下， 深度学习、强化学习以及溜达式学习等表面和工夫取得的冲破性进展， 为机器学习在计较机视觉、天然语言处理以及语音识别等多个领域的繁茂发展提供了数据和算法层面的强有劲撑执， 同期也促进了机器学习工夫在诸如自动驾驶、东谈主脸识别、智谋医疗以及智能风控等多个场景中的落地应用麻豆， 何况取得了庞大的成功.在许多任务中， 当呈现天然发生的输入时， 机器学习模子的进展以致胜过了东谈主类.
关联词， 大多数的机器学习模子在想象时并未讨论报复者的存在.尽管在预计正常样本时模子能有优异的进展， 但在现实场景中， 由于可能存在多量的坏心用户以致是报复者， 机器学习模子在人命周期的各个阶段都可能濒临着不同进度的安全风险， 导致模子无法提供正常的作事或者是走漏模子的苦衷信息.举例， 报复者可能对模子的覆按数据和输入样本鬈曲科意删改或是窃取模子参数， 从而碎裂模子的奥密性、可用性和完竣性， 这便是机器学习模子濒临的安全与苦衷问题.
为了构建安全可靠的机器学习系统， 排斥机器学习模子在执行部署应用中的潜在安全风险， 保证机器学习模子的奥密性、完竣性和可用性， 一多半来自学术界和工业界的学者系统地研究了机器学习模子安全与苦衷问题， 何况前瞻性地漠视了一系列针对模子安全和苦衷的对抗报复和防护方法， 涵盖了机器学习模子的通盘人命周期.关联词， 由于不同学者所处的研究领域不同， 搞定问题的角度不同， 因而构建的胁迫模子也不同， 所提的报复或防护方法也各有侧重.因此， 咱们亟须对现存的研究使命进行系统的整理和科学的归纳、总结、分析， 以便为后续学者了解或研究机器学习模子安全提供提醒.
本文领先详确通告机器学习中的CIA模子.然后， 从数据安全、模子安全以及模子苦衷这3个角度对现存的报复和防护研究进行系统的总结和科学的归纳， 并照顾关联研究的局限性.终末， 照顾机器学习模子安全与苦衷研究所濒临的挑战以及改日可行的研究标的.
1 机器学习中的CIA模子跟着东谈主工智能安全研究的进一步深切， 机器学习模子安全与苦衷问题渐渐引起了学术界的温文.Papernot等东谈主将机器学习模子安全需求总结为3个性情:奥密性(confidentiality)、完竣性(integrity)和可用性(availability)， 即机器学习中的CIA模子.机器学习模子的奥密性要求机器学习系统必须保证未得到授权的用户无法斗争到系统中的玄妙信息， 既包括模子的覆按数据， 也包括模子的架构、参数等信息; 完竣性要求模子的预计遣散不行偏离预期; 可用性则要求机器学习系统在面对特殊输入以致是坏心输入时仍能提供正便作事.关联词， 现存研究标明:在机器学习模子人命周期的各个阶段， 机器学习的CIA这3个性情都有可能被报复碎裂， 所对应的报复方法分又名为奥密性报复、完竣性报复和可用性报复.
● 奥密性报复.机器学习即作事(machine learning as a service， 简称MLaaS)平台为多量非专科的数据执有者覆按模子提供了便利， 但这同期也可能会泄漏数据执有者的苦衷数据.文献[1]指出， MLaaS平台上由第三方提供的模子无意着实.当数据执有者使用MLaaS平台时， 可能会选到由报复者全心想象的坏心模子.举例， 报复者不错将覆按数据编码到模子参数中， 然后通过解码参数窃取用户的苦衷.此外， 文献[2]中漠视了一种基于解方程形式窃取模子参数的报复方法， 在此基础上， 报复者不错基于模子逆向的方法生成与模子玄妙覆按数据相似的数据， 从而对模子的奥密性酿成庞大胁迫;
● 可用性报复.由于模子推理阶段机器学习系统可能会采用并处理多量的特殊输入以致是坏心的输入， 因而机器学习模子的可用性也不错成为报复者的报复宗旨， 以迫使系统无法提供正常的作事.举例:在无东谈主驾驶领域， 淌若报复者把一个相称难以识别的东西放在车辆会经过的路边或者是对交通标志进行物理道理上的扰动， 就有可能迫使一辆自动驾驶汽车干涉安全保护模式并停在路边， 无法进行正常使命;
● 完竣性报复.完竣性报复发生在模子的覆按阶段或预计阶段:在覆按阶段， 最常见的报复形势是投毒报复[3]， 即报复者通过删改覆按数据或添加坏心数据来影响模子覆按流程， 最终裁减其在预计阶段的准确性; 在预计阶段， 最典型的报复形势是对抗样例报复， 即报复者通过在测试数据中添加全心构造的狭窄扰动， 达到让模子预计出错的目的.
2 数据安全风险与保护机器学习模子除了预计阶段容易受到对抗样例的报复以外， 其覆按流程本人也可能遭到报复者的报复.额外地， 淌若机器学习模子是凭证潜在不着实起首的数据(举例Yelp， Twitter等)进行覆按的话， 报复者很容易通过将全心制作的样本插入覆按聚集来主管覆按数据溜达， 以达到改变模子活动和裁减模子性能的目的[4-6].这种类型的报复被称为“数据投毒(data poisoning)”报复， 它不仅在学术界受到平素温文， 也给工业界带来了严重危害.举例微软Tay， 一个旨在与Twitter用户交谈的聊天机器东谈主， 仅在16个小时后被关闭， 只因为它在受到投毒报复后入手漠视种族主义关联的挑剔.这种报复令咱们不得不再行想考机器学习模子的安全性.
2.1 投毒报复最早对于投毒报复的研究可追忆到文献[7， 8].Newsome等东谈主[8]想象了一种报复来误导检测坏心软件中的签名生成.Nelson等东谈主[4]标明:通过在覆按阶段学习包含正面词汇的垃圾邮件， 不错误覆按垃圾邮件过滤器， 从而使其在推理阶段将正当的电子邮件误分类为垃圾邮件.Rubinstein等东谈主[9]展示了何如通过注入干扰来糟塌在辘集传输上覆按的特殊探伤器.Xiao等东谈主[10]研究了LASSO、岭转头(ridge regression)和弹性辘集(elastic net)这3种特征选拔算法对投毒报复的鲁棒性.在坏心软件检测任务上的测试遣散标明， 特征选拔方法在受到投毒报复的情况下可能会受到严重影响.举例， 糟塌少于5%的覆按样本就不错将LASSO选拔的特搜集减弱到险些等同于速即选拔的特搜集.
Mei等东谈主[11]解说了最优投毒报复不错表述为一个双层优化问题， 何况对于某些具有库恩塔克(Karush- Kuhn-Tucker， 简称KKT)条款的机器学习算法(举例支执向量机、逻辑转头和线性转头)， 愚弄隐函数的梯度方法不错灵验地搞定这一问题.Alfeld等东谈主[12]针对线性自转头模子漠视了一个通用的数学框架， 用于制定万般宗旨、本钱和管制条款下的投毒报复策略.Jagielski等东谈主[5]对线性转头模子的投毒报复过甚防护方法进行了系统研究， 并漠视了一个特定于线性转头模子想象的表面基础优化框架.除了传统的机器学习模子以外， 投毒报复还被膨胀至深度神经辘集[13]、强化学习[14]、生物识别系统[15]以及保举系统[16， 17]等.Muñoz-González等东谈主[13]漠视了一种基于梯度优化想想的投毒报复算法， 大大裁减了报复的复杂度.Suciu等东谈主[18]漠视了StringRay， 这种方法不仅在4种分类任务上成功完结了定向投毒报复， 同期还能绕过两种现存的防护机制[19， 20].
最近， 备受学界温文的“后门报复(backdoor attack)”[21， 22]或“木马报复(trojan attack)”[23]便是一种危害性更大的投毒报复， 它使报复者能够将“后门”或“木马”植入到模子中， 并在预计阶段通过毛糙的后门触发器完成坏心报复活动.被植入“后门”的深度神经辘集在正常样本上进展很好， 但会对具有特定后门触发器的输入样本作念出特定的诞妄预计.“后门”不错无限期地保执荫藏， 直到被带有特定后门触发器的样本激活， 避讳性极强， 因而有可能给许多安全关联的应用(举例生物识别认证系统或自动驾驶汽车)带来严重的安全风险[21-23].举例， Gu等东谈主[21]通过将带有特殊标签(即后门触发器)的“泊车”标志图像插入覆按聚集并标记为“速率戒指”， 以在路标志别模子中生成后门.该模子天然不错正确地分类正常街谈标志， 但会对领有背面触发器的坏心泊车标志产生诞妄的分类.因此， 通过实施这一报复， 报复者不错通过在模子上贴上标签来诈欺模子， 将任何泊车标志归类为速率戒指， 从而给自动驾驶汽车带来严重的安全隐患(如图 1所示).天然后门报复和对抗样例报复都会导致模子误分类， 但对抗样例的扰动特定于输入和模子， 此后门报复则不错使报复者能够选拔最浅显用于触发诞妄分类的任何扰动(举例， 在住手标志上贴标签).此外， 后门报复也可被用来给深度神经辘集加上“水印”， 将模子识别为特定供应商的学问产权， 以防护具有贸易价值的模子被减轻复制[24].
Fig. 1 A stop sign and its backdoored versions using， from left to right， a sticker with a yellow square， a bomb and a flower as backdoors[21]
图 1 泊车标志过甚受后门报复的版块， 后门触发器(从左到右)为黄色方块、炸弹和花朵[21]
2.2 防护方法
大多数针对投毒报复的防护机制依赖于一个事实， 即投毒样本频频在预期输入溜达以外.因此， 投毒样本可被视为特殊值， 何况不错使用数据计帐(即报复检测和删除)[20]和鲁棒学习(即基于对辽远覆按样本实质上不太敏锐的鲁棒统计的学习算法)[5]来净化覆按样本.
● 鲁棒学习.Rubinstein等东谈主[9]愚弄稳健统计的学问构建了一个基于主因素分析(principal component analysis， 简称PCA)的投毒报复检测模子.为了戒指特殊值对覆按溜达的影响， 该检测模子管制PCA算法搜索一个特定标的， 该标的的投影最大化了基于鲁棒投影追踪估量的单变量闹翻度量， 而不是范例偏差.Liu等东谈主[25]假定特征矩阵不错很好地用低秩矩阵来近似， 并在此基础上集成了稳健低秩矩阵近似和稳健主因素转头方法以用于稳健转头.受稳健统计中愚弄修剪亏损函数来提高鲁棒性这一作念法的启发， Jagielski等东谈主[5]漠视了一种名为TRIM的针对转头模子的防护方法， 并提供对于其敛迹的负责保证以及在执行部署时投毒报复影响的上限.在每次迭代中， TRIM使工具有最低残差的子集计较修剪版的亏损函数.实质上， 这种方法是在对抗环境中应用经过修正的优化工夫进行正则化线性转头.
● 数据计帐.Shen等东谈主[3]针对不行斗争到通盘覆按数据的辗转相连学习系统， 漠视了相应的防护方法Auror， 这种方法领先识别与报复策略对应的关联庇荫特征(masked features)， 然后基于庇荫特征的特殊溜达来检测坏心用户.Steindhardt等东谈主[26]尝试在覆按模子之前检测并剔除特殊值来防护投毒报复， 并在劝诫风险最小化的情况下， 得出了轻易投毒报复影响的近似上限.Baracaldo等东谈主[27]愚弄tamper-free provenance框架[28]， 漠视愚弄覆按聚集原始和变换后数据点的高下文信息来识别有毒数据， 从而完结在潜在的对抗性环境中在线和按期再行覆按机器学习模子.Zhang等东谈主[29]漠视一种愚弄一小部分着实样本来检测通盘覆按聚集的坏心样本的算法(DUTI)， 具体地， 该方法寻求针对覆按集标签的最小转换集， 以便从该雠校覆按集学习的模子能正确地预计着实样本的标签.终末， 该方法将标签被转换的样本标记为潜在的坏心样本， 以提供给领域大师东谈主工审核.
● 后门报复检测.模子后门报复检测极具挑战性， 因为只须当存在后门触发器时才会触发坏心活动， 此后门触发器在莫得进一步分析的情况下， 频频只须报复者知谈.因此， 无论是提供覆按数据的用户照旧提供预覆按模子的用户， 都无法保证其基于机器学习模子的关联操作的安全性.为搞定这一挑战， Chen等东谈主[30]漠视了激活聚类(activation clustering， 简称AC)方法， 用于检测被植入后门触发器的覆按样本.该方法通过分析覆按数据的神经辘集激活情景， 以详情它是否遭受后门报复以及哪些数据样本是坏心的.Wang等东谈主[31]漠视了针对深度神经辘集后门报复的检测系统， 愚弄输入过滤、神经元修剪和unlearning等方法， 能够识别深度神经辘集中是否存在“后门”， 并重建可能的后门触发器， 从而保证模子在执行部署应用中的安全性.
3 模子安全风险与保护比年来， 机器学习、深度学习等中枢工夫已被平素应用于图像分类、语音识别、自动驾驶、垃圾邮件过滤以及智能反欺骗等现实任务.研究标明:报复者试图通过万般方法改变模子输入特征以绕过现实任务中的机器学习模子的检测， 或径直对模子进行报复以碎裂其完竣性， 从而达到对抗的目的.其中， 报复者最常用的报复技能是通过向正常样例中添加致密想象的、东谈主类无法感知的杂音来构造对抗性样例， 从而达到不干扰东谈主类理会而促使机器学习模子对全心构造的对抗性样例作念出诞妄判断的目的， 这种报复方法被称为“对抗报复”或者是“对抗样例报复”.以图像分类为例， 如图 2所示.原始图片以57.7%的置信度被图像分类模子识别为“熊猫”; 添加微弱扰动之后， 得到的对抗性图片则以99.3%的置信度被诞妄地识别为“长臂猿”.关联词对于东谈主而言， 对抗性图片依然不错被正常地识别为大熊猫.由于这种微弱的扰动频频是东谈主眼难以分辨的， 因而使得报复避讳性极强， 但其足以改变模子的预计遣散， 危害性极大， 因而给现实场景中， 尤其是风险敏锐场景中执行部署应用的机器学习模子带来了庞大的安全胁迫.
Fig. 2 An example of adversarial attack[32]
图 2 对抗样例报复示例[32]
与其他报复不同， 对抗性报复的中枢在于何如构造能够促使机器学习模子产生误分类的对抗样例， 因而主要报复流程发生在对抗样例构造阶段.一朝构造完成， 该对抗样例便如同正常样例一般被报复者输入到宗旨报复模子中以误导模子的决策流程， 从而达到诈欺待报复模子的目的.在对抗样例的构造流程中， 凭证报复者所获取到的宗旨模子具体信息的几许， 对抗报复不错分为白盒对抗报复和黑盒对抗报复.
● 白盒报复.白盒报复假定报复者不错完全获取宗旨模子的结构和参数等信息， 因而在报复流程中， 报复者不错愚弄模子的完竣信息求解宗旨模子的梯度信息， 以提醒对抗样例的生成流程.
● 黑盒报复.与白盒报复不同， 黑盒报复假定报复者既无法得知宗旨模子经受覆按数据和模子结构， 也无法获取模子的具体参数， 只可获取模子的最终决策遣散.在这种情况下， 待报复模子对于报复者而言犹如一个黑箱， 报复者只可通过主管模子的输入和愚弄最终决策遣散来探伤宗旨模子的敏锐性或对模子的梯度信息进行数值估量， 以进而提醒对抗样例的构造流程.因而， 相较于白盒报复， 黑盒报复所能愚弄的信息更少， 报复的难度更大.
3.1 对抗样例表面研究Szegedy等东谈主[33]在MNIST数据集上的实验遣散标明:在测试集上进展优秀的分类模子其实并未从覆按数据中学到相宜正确决策遣散的内在特征， 何况这种表象具有辽阔性.天然这些模子在天然数据上进展优秀， 但当测试样本在通盘溜达中低概率出面前， 这些模子就走漏出了舛错.因此， Szegedy以为:对抗样例存在的原因之一， 是模子的高度非线性导致的输入与输出映射的不一语气性， 以及次优的模子平均和次优的正则化导致的过拟合.
关联词， Goodfellow以为:对抗样例的存在， 是高维空间中线性特质所致[32].在高维线性模子空间中， 输入数据的多个狭窄变化叠加， 会导致输出的极大变化， 即:淌若线性模子的输入维度饱胀高， 那么它就容易受到对抗样例的报复.对于深度神经辘集等非线性模子， 为了保证模子易于覆按， 频频会选拔ReLU瓜分段线性激活函数.即使是经受Sigmoid激活函数， 频频也会让神经元尽可能地处于非饱和区域.因此， 非线性模子中的线性活动也使得模子的完竣性易受对抗样例的报复.
最近的一项研究标明[34]， 对抗样例的产生， 可归因于非稳健特征的出现:某些来自数据溜达模式的特征对于东谈主类来说是难以相识的， 但它们具备高度的预计性.同期， 研究者们也对对抗样例的迁徙性给出了解释:由于轻易两个模子可能同期学习到访佛的非稳健特征， 因此扰动此类特征的对抗样例， 可对二者同期产生影响.
3.2 对抗样例报复方法手脚碎裂机器学习模子完竣性最强有劲的报复方法， 对抗样例报复被平素应用于诸如计较机视觉、天然语言处理、音频处理以及图数据处理等各个领域.
3.2.1 计较机视觉在计较机视觉领域， 对抗报复旨在通过向图片中添加东谈主眼无法感知的杂音以诈欺诸如图像分类、宗旨识别以及看图谈话等多种机器学习模子.凭证在报复流程中是否依赖模子具体的结构和参数信息， 针对计较机视觉模子的对抗报复方法不错分为白盒报复和黑盒报复.为了保证报复的避讳性， 无论是白盒报复照旧黑盒报复， 均需要贬抑所添加扰动的幅度， 从而保证促使学习模子产生误分类的同期， 不干扰东谈主的识别遣散.
1) 白盒报复
(1) 基于优化
Szegedy等东谈主[33]初度漠视“对抗样例”这一见地， 将寻找最小可能的报复扰动界说为一个优化问题， 并漠视使用L-BFGS来搞定这个问题.经受这种方法报复的成功率很高， 但同期其计较本钱也较高.Carlini等东谈主[35]进一步立异了L-BFGS方法， 漠视了报复效果更好的宗旨函数， 并通过改变变量以搞定范畴管制问题， 这一方法频频被称为C & W报复.Chen等东谈主[36]在C & W报复的基础上结合弹性网(elastic net)正则想路漠视了EAD， 该方法生成的对抗样本相较于C & W生成的对抗样本具有更强的迁徙性.Khrulkov等东谈主[37]漠视了一种基于求解优化问题的构造通用扰动的新算法， 该算法主要基于深度神经辘集特征映射的雅可比矩阵的(p， q)-奇异向量(singular vectors).
(2) 基于梯度
为了裁减计较本钱， Goodfellow等东谈主[32]漠视了快速梯度标记法FGSM， 这种方法假定在数据点附进决策范畴是线性的， 因此沿着梯度的反标的添加扰动即可拉大对抗样例与原始样本的距离.这种方法天然能够快速生成对抗样例， 但在执行情况中， 由于线性假定频频不建树， 使得该方法无法很好地拟合模子.此外， FGSM是一种单步(one-step)报复方法， 因此其报复的成功率较低.为了进一步提高FGSM的报复效果， Kurakin等东谈主[38]漠视了基本迭代方法I-FGSM(或BIM)， 使用缱绻法在每次迭代中将对抗样本沿梯度标的转移.关联词， 迭代方法生成的对抗样本很容易过拟合到局部极值点， 因此迁徙性莫得单步报复生成的对抗样例强[39].为了搞定这个问题， Dong等东谈主[40]漠视了基于梯度的动量迭代报复方法MI-FGSM， 在褂讪更新的标的时又能逃离局部极值点， 使得生成的对抗样本具有很高的可迁徙性， 进而使其具有强项的黑盒报复才气.Xie等东谈主[41]在MI-FGSM的基础上引入了输入调节(input diversity)并漠视了M-DI2-FGSM方法， 进一步提高了对抗样本的迁徙性.此外， Madry等东谈主[42]发现， I-FGSM不错通过ε范围球内的速即点入手而得到权贵的改善， 因此漠视了一种名为PGD的报复方法， 灵验地提高了I-FGSM的报复效果.Zheng等东谈主[43]将PGD推行至数据溜达空间， 使学习得到的对抗样例溜达能够最猛进度地加多模子的泛化风险.Papernot等东谈主[44]漠视了基于雅可比矩阵的JSMA方法， 其主要想想是通过添加寥落杂音的形势来构造对抗样例.这种方划定允许添加大的扰动， 但要求被扰动的像素点要尽可能地少.
(3) 基于分类超平面
尽管FGSM等基于梯度的对抗样例报复方法能够快速地生成使原分类器产生误分类的对抗样本， 但这类报复方法存在一个共性问题， 即无法贬抑达到报复宗旨的最优扰动领域.为了搞定这一问题， Moosavi-Dezfooli等东谈主[45]漠视了Deepfool算法， 目的是寻找不错使分类器产生误判的最小扰动.在此基础上， Moosavi-Dezfooli等东谈主[46]还漠视了一种通用的、不依赖于某一特定样本的对抗扰动(universal adversarial perturbation， 简称UAP)生成方法， 可使通盘被添加该扰动的图片都被误分类为其他类别.比较于基于梯度信息的对抗样本生成方法， 基于分类超平面的方法所生成的扰动具有更强的泛化才气和更强的黑盒报复才气.
(4) 基于生成模子
Baluja等东谈主[47]漠视了对抗性调节辘集(adversarial transformation network， 简称ATN)， 它能够将任何输入样本调节为使宗旨辘集产生诞妄分类的对抗样例， 同期对原始输入和宗旨辘集输出的干扰最小.Song等东谈主[48]漠视了基于条款生成模子(conditional generative model)的对抗样例生成方法， 其主要想想是:领先， 通过覆按援手分类器生成对抗辘集(AC-GAN)， 以对数据样本的条款溜达进行建模.然后， 以宗旨类别为条款， 在生成器的潜在空间上搜索被宗旨分类器诞妄分类的图像.为了生成感知上更果真的对抗样本， Xiao等东谈主[49]漠视一种基于GAN (generative adversarial network)的对抗样例生成方法AdvGAN， 其中， 生成器用于产生对抗扰动， 辩认器用于确保生成的对抗样例是果真的.额外地， 生成辘集一朝覆按结束， 就不错灵验地为任何样本生成扰动而不再需要查询宗旨模子.
(5) 对抗补丁
Brown等东谈主[50]放宽了“扰动必须是东谈主眼不可察觉的”这一戒指， 漠视“对抗补丁(adversarial patch)”生成算法， 使其加到任何图片上都不错让原图被识别为特定类别.Liu等东谈主[51]漠视PS-GAN， 将GAN和Grad-CAM[52]结合到对抗补丁的覆按中去， 以覆按一种更不易被发现但又领有强报复力的补丁.Thys等东谈主[53]针对宗旨检测系统漠视了一种对抗补丁生成算法， 何况， 这种对抗补丁能够在果真寰宇中领有物理报复效果.
(6) 其他
Xiao等东谈主[54]初度漠视了通过空域变换来生成对抗样本， 即， 通过改变原始样本中像素点的位置来生成对抗样例.天然该方法在传统的对抗样本生成评价计算中与原图像会有较大的Lp距离， 但从东谈主的视觉感官上来看， 这种变换形势更果真， 且更禁闭易被现存对抗报复防护方法检测出来.从这项研究中咱们不错得出一个新的论断， 即， 愚弄L2距离手脚原始图像与对抗样例的相似性度量不相宜东谈主的视觉感受机制.Su等东谈主[55]漠视了单像素报复， 即， 通过只改变一个像素点的值来使模子分类出错.
(7) 物理寰宇的执行报复
大部分上述对抗样本在现实寰宇的危害有限， 因为数据会受变焦、相机噪声、角度和距离等其他因素的影响.Kurakin等东谈主[38]初度研究了物理寰宇的执行报复方法， 并照顾了通过录像头执行拍摄给对抗样本带来的影响.Athaly等东谈主[56]对物理环境下的对抗报复进行了愈加深切的研究， 探讨了2D、3D和物理寰宇3D这3种环境下的对抗样本的生成方法和灵验性问题， 并初度制作了可在各个角度下诈欺分类模子的果真3D物体.该研究漠视一种通用的对抗样本生成方法——变换祈望算法(expectation over transformation， 简称EOT)， 通过在优化流程中对不同干扰进行建模， 使得该方法生成的对抗样本在吞吐、旋转、缩放、光照等变换下都进展出很强的鲁棒性(如图 3所示).Eykholt等东谈主[57]漠视了一种通用的报复算法RP2(robust physical perturbation)， 其能够在不同的物理条款下产生鲁棒的对抗扰动.
Fig. 3 Different random poses of a 3D-printed turtle perturbed by EOT are classified[56]
图 3 模子对EOT生成的3D打印乌龟的不同速即姿势进行分类[56]
2) 黑盒报复麻豆
由于在模子的执行部署应用中， 咱们频频无法获取模子的架构、参数等信息， 只可主管模子的输入和输出， 因此在这种场景中， 黑盒报复更具有辽阔性和现实道理.凭证报复时经受的策略的不同， 现存的黑盒报复方法主要分为基于迁徙性的方法[58-62]、基于梯度估量的方法[63-66]、基于决策的报复方法[67]和基于采样的方法[68].
(1) 基于迁徙性的方法
关联研究标明， 对抗样本具有迁徙性(transferability)[58]， 即:针对宗旨模子生成的对抗样本， 一样有可能让其他具有不同结构、以不同覆按集覆按得到的模子出错.因此在黑盒场景下， 报复者不错在与黑盒宗旨模子交流或具有访佛溜达的数据集上覆按我方的模子， 然后针对我方覆按的模子生成对抗样本， 并愚弄其迁徙性诈欺黑盒的宗旨模子.在报复者无法获取覆按数据的情况下， 报复者不错基于模子蒸馏的想想， 愚弄宗旨模子对我方合成的数据打标签， 并用合成数据来覆按替代模子， 以近似宗旨黑盒模子， 然后愚弄白盒报复方法， 针对替代模子生成对抗样本， 并愚弄生成的对抗样例对宗旨模子进行黑盒迁徙报复[60].关联词， 这种方法虽被解说适用于类内各异性较低的数据集(举例MNIST)， 但尚未有研究解说它不错膨胀到CIFAR或ImageNet等更复杂的数据集.随后， Papernot等东谈主[59]愚弄蓄池塘(reservoir sampling)算法提高了替代模子的覆按着力; Ilyas等东谈主[61]针对查询次数有限、仅给出top-k类别概率和仅给出样本类别标签等条款更严格的情况， 对替代模子报复方法进行了立异; Shi等东谈主[62]漠视的Curls & Whey报复则从万般性、迁徙性、噪声大小等方面进一步优化了基于替代模子的报复方法.
(2) 基于梯度估量的方法
Chen等东谈主[63]漠视基于零阶优化的有限差分算法ZOO来径直估量宗旨深度学习模子的梯度以生成对抗样例.实验遣散标明:ZOO报复算法权贵优于基于替代模子的黑盒报复算法， 何况与白盒算法C & W报复效果十分.关联词， 这种方法需要较多的查询次数， 且依赖于模子的预计值(举例类别概率或置信度)， 因此无法应用于模子查询次数有限或模子仅给出类别标签的情况.针对模子查询次数有限的情况， Bhagoji等东谈主[64]愚弄速即特征分组(random feature grouping)和主因素分析(PCA)算法以减少生成对抗样例所需的查询模子的次数， Ilyas等东谈主[65]将梯度先验(gradient priors)与老虎机优化(bandit optimization)算法相结合以克服这一局限.Tu等东谈主[66]漠视AutoZOOM框架， 主要包括两个模块:①为了均衡模子查询次数和失真度的自适合速即梯度估战略略; ②用于提高报复着力的用未标记数据离线覆按的自编码器(autoencoder)或双线性调整操作.当该框架应用于ZOO报复算法时， 可在看守报复效果不变的情况下， 极地面减少所需模子的查询次数.
(3) 基于决策的报复方法
在果真寰宇的机器学习关联应用中， 报复者很少能够取得模子的预计值.针对宗旨模子仅给出类别标签的情况， Brendel等东谈主[67]漠视了范畴报复(boundary attack)算法， 其主要想想是:将运回荡的图像或噪声渐渐向原始样本会聚直到找到决策范畴， 并在决策范畴上找到与原始样本最近的对抗样本.与基于迁徙性的报复比较， 它们需要的模子信息更少， 完结毛糙， 实用性更强， 但却需要庞大的查询次数.在梯度庇荫、里面速即性或对抗覆按等防护方法存在的情况下， 这种基于决策的报复比其他类型的黑盒报复更难以防护.
(4) 基于采样的方法
在Ilyas等东谈主[65]漠视的报复方法中， 为了使投影梯度法灵验， 梯度必须对梯度信息进行相瞄准确的估量.关联词， 由于部分心经辘集的预计函数是造反滑的， 因此用天然进化策略(natural evolution strategy， 简称NES)进行梯度估量不够可靠.为了搞定这一舛错， Li等东谈主[68]使用有管制的NES公式手脚宗旨函数， 并以正常输入样本为中心的lp-ball上界说的概率密度溜达来平滑亏损函数.淌若能够找到一个亏损很小的溜达， 那么从该溜达中采样的样本很可能便是对抗样例.该方法不再依赖于梯度估量， 因此它不会受到深度神经辘集非平滑性的禁闭.
3.2.2 天然语言处理天然语言处理领域的对抗报复是指在不改变文本语义的情况下， 使神经辘集出现误判.比较于计较机视觉领域， 天然语言处理领域的对抗报复有以下几个难点:领先， 由于文本数据是闹翻的， 因此针对图像领域的对抗样例生成方法并不行径直应用于文本; 其次， 图像的扰动是东谈主眼难以察觉的像素值的狭窄变化， 关联词对于文本的对抗报复， 东谈主眼很容易察觉到小的扰动， 举例替换字符或单词会产生无效的单词或语法不正确的句子， 何况可能会改变句子的语义.此外， 淌若径直将图像领域的基于梯度的对抗报复方法应用到经过向量化处理后的文本特征， 生成的对抗样例有可能是无效的字符或单词序列[69].比年来， 许多研究者对不同的天然语言处理任务进行对抗报复， 包括问答系统[70]、机器翻译[71]、对话生成[72]、有毒挑剔检测[73]等.
(1) 白盒报复
Papernot等东谈主[74]起初入手研究文本序列中对抗样本的问题， 漠视了一种基于JSMA算法想想的对抗文本生成方法， 成功地报复了递归神经辘集(RNN).Ebrahimi等东谈主[75]漠视了一种基于梯度优化的白盒对抗文本生成方法HotFlip， 并在随后的使命中将其膨胀至定向报复[76].该方法能够在one-hot暗示下处理闹翻文本结构， 通过字符替换使字符级文天职类模子出错(如图 4所示).Liang等东谈主[77]基于FGSM算法的想想， 漠视用梯度来度量词语对分类遣散的影响进度， 并对首要的词语进行插入、删除和修改等扰动.关联词这种方法添加扰动的流程需要东谈主为纷扰， 因此， Samanta等东谈主[78]将这个扰动流程自动化， 并对替换/添加的单词进行戒指， 以使原文的语法结构保执正确.Gong等东谈主[79]基于FGSM和Deepfool的想想对词向量(word embedding)进行扰动， 然后使用词移距离(word mover distance， 简称WMD)找到最隔壁词语进行替换.Lei等东谈主[80]解说了用于文天职类的辘集函数的次模性， 并指出， 缱绻算法不错很好地近似最优解.
Fig. 4 Adversarial examples for text classification[81]
图 4 文天职类的对抗样例[81]
(2) 黑盒报复
Jia等东谈主[70]初度将对抗报复应用于问答系统， 其具体作念法是:在段落末尾添加无道理的、分散细心力的句子， 这些句子不会改变段落的语义和问题的谜底， 但会诈欺问答系统.Wang等东谈主[82]通过改变分散细心力句子的位置来立异Jia等东谈主的使命， 并膨胀用于生因素散细心力的句子的假谜底集.Li等东谈主[81]漠视一种通用的对抗文本生成框架TextBugger， 其中枢想想与敏锐性分析解释方法访佛， 具体作念法是:愚弄删去某一单词之后模子输出的置信度变化来揣测每个词对分类遣散的孝顺度， 按单词孝顺度从高到低经受同义词替换或拼写诞妄等形势使模子误分类， 同期保证修改后的文本与原文本的语义变化在一定范围内.文献[71， 72]漠视了更多扰动策略， 包括速即交换相邻token、速即删除停用词、语法诞妄、反义词等策略.Zhao等东谈主[69]漠视了基于GAN的对抗文本生成算法， 该算法包括两个症结组件:用于生成伪数据样本的GAN和将输入映射到潜在密集空间的逆变器.通过最小化原始输入和对抗性示例之间的重建弱点， 对原始输入覆按这两个重量.关联词， 这种方法相称耗时.
(3) 坏心软件检测
在坏心软件检测领域， 对抗报复被应用于修改坏心软件的特征， 以遁入坏心软件检测模子的检测.举例:研究东谈主员给坏心软件样本中添加一些正常的字符使其看起来愈加果真， 并不会被系统检测到; 报复者也不错用感染果真PE文献、编译含有坏心代码的果真源码、注入二进制代码的形势来绕过检测.Grosse[83]中鉴戒JSMA方法[44]构造对抗样例， 将其从一语气可微的空间蜕变应用到了闹翻空间中， 初步解说了对抗报复在坏心软件检测领域的可行性.Kreuk等东谈主[84]修改了FGSM的亏损函数， 使其能够更好地应用于坏心软件数据的闹翻性.此外， 关联研究者还愚弄在文献末尾加多字节[85]、插入API序列[86]、GAN[87]生成、强化学习[88]的想想生成坏心软件对抗样本.在防护方面， 关联研究者愚弄对抗覆按[89]、速即化想想[90]来防护坏心软件对抗样例.
3.2.3 音频处理不同于自动驾驶等视觉场景， 对于现阶段的语音模子来说， 非定向报复并莫得太大的胁迫性， 因为非定向报复酿成的后果并不会胁迫用户的苦衷、财产或者人命安全.因此， 能够对语音系统产生影响、鼓励其跳跃的对抗样本势必是以定向为基础的.由于语音识别系统频频需要对输入音频进行多量预处理， 因此无法径直将图像领域的报复方法径直应用于生成对抗音频.
(1) 白盒报复
在先前的研究使命中， Cisse等东谈主[91]开发了一个通用报复框架Houdini， 用于报复包括图像和音频在内的万般模子， 关联词他们的方法在反向传播求梯度时无法对音频特征调节进行计较.为了克服这一挑战， Carlini等东谈主[92]漠视了一种白盒场景下基于梯度的定向报复方法， 使得反向传播能够成功经过特征调节层， 开启了学界在定向对抗语音生成方面的探索.该方法通过将给定的轻易波形通过添加噪声的形势调节成一段东谈主耳不行区分但会被语音识别系统识别成完全不同的另一段话的新波形， 成功地报复了DeepSpeech语音识别模子.关联词这种报复的迁徙性相称弱， 险些不行报复除了宗旨模子以外的其他语音识别模子.此外， 这种报复方法需要将对抗音频文献径直手脚模子输入才有报复效果， 淌若用扬声器播放再用麦克收音， 则报复就会完全失效.为了克服这一舛错， Qin等东谈主[93]通过愚弄声学空间模拟器来模拟音频在无线播放时的环境失真， 愚弄听觉掩码(auditory masking)的心境声学道理开发出了东谈主耳不可察觉的音频对抗样本， 提高了对抗样本在无线播放时的鲁棒性， 同期保执轻易完竣句100%的针对性成功率.
(2) 黑盒报复
在机器学习模子的执行部署应用中， 报复者频频不知谈模子架构或参数， 因此， 研究者进一步对黑盒场景下的对抗语音生成方法进行了研究.Taori等东谈主[94]漠视了一种基于遗传算法和梯度估量的黑盒对抗语音生成方法. Du等东谈主[95]漠视了一种基于粒子群算法的黑盒对抗语音生成方法， 成功报复了语音识别、谈话东谈主识别、音频场景识别模子等安全敏锐系统.Yuan等东谈主[96]漠视的Commandersong成功报复了科大讯飞语音识别系统， 其主要想想是:将坏心指示的音频特征以一种东谈主耳难以感知的形势镶嵌到一段音乐中， 使得播放这段音乐时， 语音识别系统能够识别出坏心指示.关联词， 这种报复不错被基于时序依赖关系的防护方法[97]所防护.
3.2.4 图数据处理针对图数据(graph data)的对抗报复被界说为:通过修改给定的图， 使图结构或节点属性的变化在贬抑范围内， 在这种情况下， 裁减万般图关联算法的性能.针对图数据的对抗报复在执行应用场景中早有果真案例， 比如在酬酢辘集中， 水军通过师法正常账户进行温文、点赞、挑剔等活动来裁减我方的可疑性， 以遁入特殊检测算法的检测， 从而幸免被封号.
Zügner等东谈主[98]初度对基于属性图(attribute graph)的传统模子和图卷积辘集(graph convolution network)的对抗报复进行研究， 激起了图数据的对抗报复与防护研究上升.Dai等东谈主[99]针对图神经辘集(graph neural network)模子漠视了两种对抗报复方法:在仅给出预计类别的黑盒场景下， 作家漠视了基于强化学习的黑盒对抗报复方法; 在报复者可取得模子预计置信度或梯度的白盒场景下， 作家漠视了基于遗传算法和梯度着落的对抗报复方法.Chen等东谈主[100]针对图聚类算法漠视两种报复方法——定向噪声注入(targeted noise injection)和小社区报复(small community attack).其中， 定向噪声注入通过插入边和节点， 使得原图中的节点与报复者插入的节点被聚为一类; 而小社区报复主要通过删除节点和边， 将本应被聚为一个类的子图拆散成多个类， 同期尽可能地看守原图中各个节点之间的筹办.Bojchevski等东谈主[101]愚弄特征值扰动表面的论断， 将针对基于速即游走(random walks)的辘集学习暗示(network representation learning)算法的对抗报复归结为一个双层优化问题. Wang等东谈主[102]针对协同分类(collective classification)这一传统图模子算法， 将对抗报复界说为一个基于图的优化问题， 以详情需要扰动哪些边.
3.2.5 报复方法总结总而言之， 经典的对抗样例报复方法过甚餍足的属性见表 1.
Table 1 Summary of classic adversarial attacks
表 1 经典的对抗样例报复方法总结
从表中不错看出:面前的对抗报复方法仍然聚集在图像领域， 文本、音频和图数据标的的关联研究相对较少， 改日可研究的空间较大.在图像领域， 大多数报复者都是在白盒场景下对数字图像进行报复， 何况经受Lp范数来贬抑以及揣测噪声大小， 以尽可能地减小添加的扰动对东谈主类识别遣散的影响进度.关联词， 改日图像领域的对抗报复将渐渐从数字领域转换到物理寰宇， 即， 何如生成能够报复现实应用的对抗样例.此外， 何如漠视更好的、更相宜东谈主类理会的扰动揣测范例， 亦然一个值得研究的问题.
3.3 对抗样例防护方法传统的模子优化技能如权重衰减或者dropout， 天然在一定进度上不错让机器学习模子愈加稳健， 但频频无法切实防守对抗样本.机器学习模子内在的复杂性， 使其在预计阶段难以取得对于对抗报复的鲁棒性， 但这种复杂性又是保证模子具有强项的建模才气的必要条款.面前为止， 并莫得一个能够达到完全令东谈主适意进度的对抗样本防护方法， 因此， 想象更强的防护方法， 是改日机器学习模子安全保护研究的要点.
3.3.1 图像预处理与特征变换由于许多方法产生的对抗性扰动对于东谈主类不雅察者来说看起来像高频噪声， 因此好多研究者建议使用图像预处理手脚防护对抗样本报复的策略， 举例JPEG压缩(JPEG compression)[103]、总方差最小化(total variance minimization， 简称TVM)[104]、图像缝合(image quilting)[104]、图像深度缩减(bit-depth-reduction)[105]等.Xu等东谈主[105]漠视深度心计压缩(depth-color-squeezing)方法来防护对抗样例， 其实质想想是对每个像素进行量化.Buckman等东谈主[106]漠视Thermometer Encoding防护方法， 其实质想想是对每个像素进行闹翻化， 即， 用二进制向量替换每个像素原本的值.Guo等东谈主[107]解说:愚弄局部线性镶嵌(locally linear embedding， 简称LLE)来对输入数据进行降维， 能够提高模子的鲁棒性.Prakash等东谈主[108]基于模子对天然噪声具有鲁棒性这一表象漠视了像素偏转(pixel deflection)防护方法， 该方法通过强制使输入图像匹配天然图像统计来抵御对抗性扰动.Akhtar等东谈主[109]通过覆按扰动雠校辘集(perturbation rectifying network， 简称PRN)来排斥对抗扰动， 同期愚弄PRN输入输出差值的闹翻余弦变换来覆按检测器:淌若检测到扰动， 就将PRN的输出手脚模子的输入; 反之， 将原图手脚模子的输入.
由于范例去噪器存在弱点放大效应(即狭窄的对抗性噪声可能会被徐徐放大而导致诞妄分类)， 为了搞定这一问题， Liao等东谈主[110]漠视了HGD去噪器.该方法的主要想想是， 将干净图像的logits与去噪图像的logits之间的各异手脚亏损函数来覆按去噪器.Shen等东谈主[111]将排斥样本的对抗性扰动界说为学习从对抗样本到原始样本的流形映射的问题， 在GAN框架下， 愚弄对抗样本生成与原始样本相似的重构图像， 以达到排斥扰动的目的.访佛地， Samangouei等东谈主[112]漠视了Defense-GAN， 其中枢想想是:愚弄生成模子来对正常样本的溜达进行建模， 然青年景与待预计样本近似的干净样本， 并将干净样本送入模子进行预计.Hwang等东谈主[113]漠视了基于VAE的净化对抗样例的方法PuVAE， 通过在每个类的流形上投射对抗样例来排斥对抗性扰动， 何况将最接近的投影手脚净化后的样本.Dubey等东谈主[114]通过对包含数百亿图像的辘集图像数据库进行最隔壁(nearest-neighbor)搜索来对待预计图像进行近似投影， 将最隔壁图像的预计遣散手脚待预计图像的遣散.
局部报复是通过仅在特定的局部区域内添加可见对抗性噪声(localized and visible adversarial noise， 简称LaVAN)而不会影响图像中的权贵对象的一种对抗报复.由于这种报复在特定图像位置引入了聚集的高频变化， Naseer等东谈主[115]漠视了局部梯度平滑(local gradients smoothing， 简称LGS)方法.具体作念法是:领先估量梯度域中的噪声位置， 然后在图片送入深度神经辘集之前正则化估量噪声区域的梯度.与其他防护机制比较， LGS是迄今为止对BPDA(back pass differentiable approximation)防护性能最佳的防护方法.
Wu等东谈主[116]漠视一种结合置信度信息和最隔壁搜索的框架HCNN(highly confident near neighbor)， 将低置信度的(即有可能是对抗样例的)样本点镶嵌到高置信度区域， 以增强模子的鲁棒性.Song等东谈主[117]发现:对于轻易报复类型或宗旨模子， 对抗样例主要存在于覆按数据的低概率溜达区域.基于这一理会， 他们漠视了PixelDefend， 通过将对抗样例移回覆按数据的高概率溜达区域来净化对抗样例.
天然图像预处理在报复者不知谈防护方法的场景下很灵验， 但其在报复者已知防护方法的场景下险些无效[118].关联词预处理仍不失为一类招引东谈主的防护方法， 因为该方法不错与其他防护方法协同使命以产生更强的防护效果， 且不错在不知谈宗旨模子的情况下裁减对抗样本的危害进度.
3.3.2 荫藏式安全荫藏式安全(security-by-obscurity)防护机制通过向报复者荫藏信息来提高机器学习模子的安全性[7， 19， 119].这种防护方法旨在防护黑盒环境下， 报复者通过查询宗旨模子来立异替代模子或对抗样例的探伤机制.典型的防护方法包括:(1)加多模子逆向的难度， 举例模子和会; (2)拒却报复者拜访有用的梯度信息; (3)速即化分类器的输出.
● 模子和会(model ensemble).He等东谈主[120]研究发现， 将现存的多种弱防护策略集成起来并不行手脚一种强防护方法， 主要原因是自适合的(adaptive)报复者不错想象出具有很小扰动的对抗样本来攻破这3种防护方法.Liu等东谈主[121]结合模子和会与速即化想想漠视了RSE(random self-ensemble)防护方法， 其主要想想是:在神经辘集中加入速即噪声层， 并将多个速即噪声的预计遣散和会在一谈， 以增强模子的鲁棒性.这种方法十分于在不加多任何内存支拨的情况下对无尽多的噪声模子进行集成， 何况所漠视的基于噪声速即梯度着落的覆按流程不错保证模子具有细腻无比的预计才气.关联词， 淌若莫得正确地组合基分类器， 它们可能会裁减安全性[122， 123];
● 梯度掩模(gradient masking)[60].梯度掩模防护方法试图通过荫藏能够被报复者愚弄的梯度信息来进行防护， 关联词， 这种方法并莫得提高模子本人的鲁棒性， 仅仅给报复者在寻找模子防护间隙时增添了一定的困难， 何况已有研究标明， 它不错很容易地被替代模子等方法所遁入[60， 118];
● 速即化(randomization).Xie等东谈主[124]漠视， 在模子前向传播时使用速即化来防护对抗报复， 包括速即调整大小(random resizing)和速即填充(random padding).尽管最近的研究标明[121]， 引入速即性不错提高神经辘集的鲁棒性， 关联词Liu等东谈主[125]发现， 盲目地给各个层添加噪声并不是引入速即性的最优方法， 并漠视在贝叶斯神经辘集(Bayesian neural network， 简称BNN)框架下对速即性建模， 以学习模子的后验溜达.Lecuyer等东谈主[126]漠视了基于差分苦衷的防护方法PixelDP， 其主要想想是:在深度神经辘集中加入差分苦衷噪声层， 以使辘集的计较速即化， 从而使l-norm范围内的扰动对模子输出的溜达变化影响在差分苦衷保证的范围内.
3.3.3 影响决策范畴Gu等东谈主[127]借助收缩自编码(contractive auto-encoder， 简称CAE)的想想漠视了深度收缩辘集(deep contractive network， 简称DCN)这一见地， 其主要性情是， 用于覆按的亏损函数中包含平滑处分项(smoothness penalty).天然平滑处分提高了深度收缩辘集的鲁棒性， 但同期也会裁减其在正常样本上的性能.Szegedy等东谈主[128]漠视名为标签平滑的防护方法， 即用软标签替换硬标签来覆按模子.这种方法天然能够防护基于FGSM方法生成的对抗样例， 但不行防护JSMA报复[44].Cao等东谈主[129]发现， 对抗样例频频离决策范畴很近， 并基于这一理会漠视了基于区域(region-based)的分类模子， 其主要想想是， 和会以样本点为中心的超立方体中的信息来进行预计.Yan等东谈主[130]漠视了Deep Defense， 其中枢想想是:将一个基于对抗扰动的正则项集成到宗旨函数中， 这个正则项通过使正确分类样才略有相对较大值、可能诞妄分类的样才略有较小值来处分对抗性干扰， 在不亏损模子精度的情况下提高了模子的鲁棒性.Jakubovitz等东谈主[131]愚弄神经辘集雅可比矩阵的Frobenius范数对模子进行正则化， 手脚其旧例覆按的后处理(post-processing)门径， 并解说这种方法不错让原始辘集在精度变化最小的情况下提高鲁棒性.
(1) 对抗覆按
对抗覆按[33]是最早漠视来的一个针对对抗样本的防护方法， 该方法将带有正确标签的对抗样本加入原始覆按聚集共同覆按模子， 以提高模子的鲁棒性.关联词对抗覆按容易使模子过拟合于用于产生对抗样例的特定管制区域中去， 导致模子的泛化性能着落[39].举例， Moosavi等东谈主[45]发现:淌若在覆按和报复时使用不同的方法来生成对抗样例， 那么基于对抗覆按的模子不再具有鲁棒性.对抗覆按的另一个主要瑕疵是:它倾向于在意外中学习作念梯度庇荫而不是执行转移决策范畴， 因此仍然容易受到黑盒报复的胁迫.为了克服这一舛错， Tramèr等东谈主漠视了集成对抗覆按[132]的防护方法， 即:愚弄多个预覆按好的模子来生成对抗样本， 然后将这些对抗样本都加到覆按聚集对模子进行覆按.此外， 为了将对抗覆按应用到大领域数据集上， Kannan等东谈主[133]漠视了一种基于logit配对的对抗覆按方法， 实质上是在传统的对抗覆按基础之上加入了一个正则项， 最小化对抗样例的logit与对应的原始样本的logit的差值.天然后续研究发现对抗覆按容易受到盲点报复(blind-spot attack)[134]， 但它仍然是面前最灵验的防护方法之一[68].
(2) 模子压缩
Papernot等东谈主[135]漠视一种基于学问蒸馏(knowledge distillation)的防护方法， 将大模子压缩成具有更平滑的决策名义的小模子， 在提高模子鲁棒性的同期保执预计精度不变.但后续研究解说， 这种防护方法易被攻破[36]. Guo等东谈主[136]解说， 愚弄模子修剪(pruning)来安妥提高非线性深度神经辘集的寥落性能提高其鲁棒性， 但过度寥落的模子可能更难以违抗对抗样例.Zhao等东谈主[137]发现:模子修剪减少了辘集的参数密度， 对于用原辘集作出的报复有较小防护性， 对参数和激活函数的大幅度量化也能使报复的迁徙性变小.
3.3.4 检测型防护天然许多机器学习算法基于老成性假定(即覆按和测试数据来自兼并溜达)， 但特征空间中莫得覆按数据溜达的区域不错在覆按阶段分派给任何类别而不会权贵加多亏损， 因此， 这些区域很容易出现对抗样例.基于此， 一些关联研究漠视愚弄检测与特征空间中的覆按数据溜达相距甚远的样本的方法来检测对抗样例[138， 139]， 常见方法包括基于支执向量机[138]、空间一致性信息[140]、图像变换[141]、高斯判别分析[142]、条款生成模子[143]等.
Metzen等东谈主[144]愚弄模子的中间层特征覆按了一个子辘集手脚检测器来检测对抗样例， 关联词关联研究已解说， 该检测器容易被覆按阶段莫得遭遇过的报复方法生成的对抗样例所诈欺[145].为了提高检测器的泛化性能， Lu等东谈主[145]漠视了一种愈加鲁棒的检测方法SafetyNet， 其主要想想是， 愚弄对抗样例和正常样本在深度神经辘集特定层的ReLU激活函数输出溜达的不同来检测对抗样例; Li等东谈主[139]则漠视从卷积神经辘集中各层卷积核的输出中索要统计信息， 并在此基础上覆按了级联分类器， 区分正常样本和对抗样例.访佛地， Zheng等东谈主[146]发现:当深度神经辘集对抗样例分类为特定诞妄类别时， 其荫藏层情景与输入交流类别的正常样本所产生的荫藏层情景完全不同.基于这一理会， 他们漠视了I-defender方法， 其中枢想想是， 愚弄深度神经辘集隐含层神经元的输出溜达手脚其内在特征来来检测对抗样例.
Meng等东谈主[147]漠视了一种报复无关(attack agnostic)的防护框架MagNet， 该框架既不需要修改受保护的分类模子， 也不需要了解对抗样例的生成流程， 因而不错用于保护万般类型的神经辘集模子.MagNet由一个或多个零丁的检测器(detector)辘集和一个重整器(reformer)辘集构成.
● 检测器凭证深度学习的流形假定(manifold hypothesis)来区分原始样本和对抗样本， 对于给定的输入样本， 淌若任何一个检测器以为该样本是对抗性的， 则将其标志为对抗样本并进行丢弃; 反之， 则在将其送入到宗旨分类器之前， 愚弄重整器对其进行重构;
● 重整器则通过重构输入样本以使其尽可能接近正常样本， 将对抗样本的流形移向正常样本的流形， 从而削弱对抗扰动对宗旨分类器的影响.
Ma等东谈主[148]愚弄局部实质维数(local intrinsic dimensionality， 简称LID)来花样对抗样本在对抗子空间中的维度属性， 何况解说这些特征不错灵验地区分对抗样本.Ghosh等东谈主[149]漠视了基于VAE的防护方法， 其中:VAE的隐向量盲从高斯搀和先验溜达， 且每个搀和重量对应于一个类别.这使得模子能够进行选拔性地分类， 即:将重构弱点额外一定阈值的样本视为对抗样例， 并拒皆备其进行预计.Pang等东谈主[150]发现:当愚弄K-density检测器或其他基于维度的检测器时， 用反交叉熵(reverse cross-entropy， 简称RCE)来代替模子覆按流程中常见的交叉熵亏损函数， 不错让模子学到更多区分正常样本与对抗样例的特征.
Tao等东谈主[151]领先愚弄图像特征与里面神经元的关联性来详情对模子决策起到症结作用的神经元; 然后放大这些神经元的影响， 同期减弱其他神经元的作用， 以增强模子决策遣散的可解释性; 终末， 基于新模子与原始模子的决策遣散检测对抗样例.Zhao等东谈主[152]愚弄信息几何学的学问对深度学习模子的脆弱性进行了直不雅的解释， 并漠视了一种基于矩阵特征值的对抗样例检测方法.具体地， 他们计较了深度神经辘集带二次型管制的Fisher信息矩阵， 其中， 最优对抗扰动由第一特征向量给出， 脆弱性由特征值反应:特征值越大， 模子越容易受到相应特征向量的报复.为了提高防护方法的泛化性能， Ma等东谈主[153]分析了深度神经辘集模子在万般报复下的里面结构， 并在此基础上漠视了愚弄深度神经辘集不变性特征检测对抗样例的方法， 该方法能够以额外90%的准确率和有限的误报率检测11种不同的对抗报复.
3.3.5 鲁棒优化鲁棒优化的目的是求得一个对于可能出现的通盘情况均能餍足管制条款的解， 何况是最坏情况下的宗旨函数的函数值最优.在鲁棒优化中， 对抗性的数据扰动不错被视为一种特殊的噪声.Xu等东谈主[154]标明:至少对于基于内核的类分类器而言， 不同的正则化方法十分于假定输入数据上存在不同类型的有界最坏情况噪声.这灵验地建设了正规化学习问题和鲁棒优化之间的等价性， 从而将计较要求尖刻的安全学习模子(举例博弈论模子)近似为计较着力更高的模子， 即以特定形势正则化宗旨函数[155， 156].最近， 研究者还漠视了通过模拟相应报复来正则化梯度的搀和方法， 以提高妙度辘集对对抗报复的安全性[42， 157].
Chen等东谈主[158]漠视了一种基于鲁棒优化的算法来提高基于树的模子的鲁棒性， 该方法通过在输入特征的最坏扰动情况下对系统的性能进行优化.Raghunathan等东谈主[159]基于半定粗糙(semidefinite relaxation)法计较仅包含一个荫藏层的神经辘集在最坏情况下的亏损上限， 并将这个上限与辘集参数一谈优化.这种方法十分于提供了一个自适合的正则项， 不错增强对通盘报复的鲁棒性.Wong等东谈主[160]漠视了一种方法来学习基于ReLU的深度神经辘集， 这些分类器对覆按数据上的范数有界对抗扰动具有可解说的鲁棒性.基本想想是:讨论范数有界扰动可达到的激活值的凸外部近似(convex outer approximation)， 然后基于鲁棒优化的想想最小化该外部区域上的最坏情况下的亏损.Sinha等东谈主[161]经受溜达式鲁棒优化的原则， 通过讨论Wasserstein ball中基础数据溜达扰动的拉格朗日处分公式， 愚弄覆按数据的最坏情况扰动来增强模子参数更新， 保证了模子在对抗性扰动下的性能.Madry等东谈主[42]从鲁棒优化的角度研究神经辘集的对抗褂讪性， 愚弄鞍点公式找到一组神经辘集模子的参数， 使模子在对抗样例上亏损尽可能小， 以取得愈加鲁棒的神经辘集分类器.
3.3.6 基于博弈论对抗覆按[32， 33]或提高决策树和速即丛林的鲁棒性[162]是一种典型的防护方法， 关联词这些防护是启发式的， 莫得对敛迹性和鲁棒性的表面保证.因此， 为了克服这些局限性， 研究者漠视了更为合理的基于博弈论的方法， 引入Nash和Stackelberg博弈进行安全学习， 在假定每个玩家都了解敌手和博弈的通盘情况下， 推导出了博弈均衡存在和独一性的形式条款[163， 164].尽管这些方法看起来很有但愿， 但了解由此产生的报复策略在多猛进度上能够代表执行情况仍是一个悬而未决的问题[165].由于对抗学习不是一个章程明确的博弈， 现实寰宇报复者的宗旨函数可能不相宜上述博弈中的假定.因此， 挑升志地考证果真寰宇报复者的活动是否相宜假定， 并愚弄所不雅察到的报复的反馈来改垂危击策略的界说是一个风趣的研究标的.这些方法的另一个关联问题是它们对大型数据集和高维特征空间的可膨胀性， 即灵验地搞定维度厄运问题， 因为生成饱胀数目的报复样本来正确地暗示它们的溜达， 可能会导致计较本钱过高.
4 模子苦衷风险与保护机器学习工夫的领域化和产业化发展使其已形成一种贸易模式， 即机器学习即作事(MLaaS)模式.各大互联网公司纷纷推出了商用MLaaS平台， 为不具备覆按才气的普通数据执有者基于执有的数据覆按机器学习模子提供了极大的便利.在这种模式下， 数据执有者不错愚弄第三方提供的模子和算法以及平台提供的计较资源， 基于执有的数据， 覆按用于特定任务的机器学习模子， 然后对外洞开模子调用接口， 提供付费预计作事.尽管这种模式给用户覆按和发布模子提供了便利， 但同期也使得数据执有者的苦衷数据濒临着走漏的风险.
在这种场景中， 报复者经受的报复方法为试探性报复， 即通过某种技能窃取模子信息或者通过部分复原用于覆按模子的成员数据的形势来推断用户数据中的某些苦衷信息.凭证报复者窃取宗旨的不同， 试探性报复不错分为覆按数据窃取(training data extraction)报复和模子萃取(model extraction)报复.其中:数据窃取报复通过获取机器学习模子覆按数据的苟简溜达或凭证模子的预计遣散推断覆按数据中是否包含某个具体的成员数据的形势窃取覆按数据中的苦衷信息; 而模子萃取报复则通过在黑盒条款下， 愚弄特定技能获取宗旨模子里面构件或者构造一个无限贴近宗旨模子的替代模子的形势， 达到窃取模子信息的目的.这两类报复分别从数据和模子两个层面碎裂了机器学习模子的奥密性.
4.1 覆按数据窃取由于机器学习模子在覆按阶段会不经意地存储覆按数据中包含的苦衷信息[166]， 因此报复者不错通过报复机器学习模子来获取筹办其覆按数据的挑升想的信息.
(1) 数据窃取报复(data extraction attack)
在遗传药理学研究领域， 机器学习工夫被平素应用于分析病东谈主的基因信息和关联调治记载， 以援手大夫进行相应的药物调治.尽管包含病东谈主苦衷信息的数据集频频只对研究东谈主员开发， 但基于这些数据学习到的援手会诊模子却频频是公开的， 因此亟须保证模子苦衷安全， 以防护走漏病东谈主苦衷信息.关联词， Fredrikson等东谈主[167]针对用药保举系统的研究却发现:分析东谈主口统计信息等属性与药物保举系统输出遣散(华法林剂量)之间的关联性， 不错逆向推出病患的遗传信息.访佛地， Fredrikson等东谈主[168]发现:报复者愚弄机器学习模子的预计遣散不错重建模子覆按时使用的东谈主脸数据， 如图 1.具体地， 给定一批输入样本X={x1， x2， …， xN}， 报复者不错愚弄MLaaS平台提供的模子接口进行查询， 得到相应的预计遣散Y={f(x1)， f(x2)， …， f(xN)}.报复者愚弄X， Y覆按得到一个与原始模子f近似地替代模子f'， 然后再基于f'逆向复原f的覆按数据.Song等东谈主[1]则发现:报复者不错通过在覆按阶段将覆按数据编码到模子参数中， 然后在预计阶段对参数进行解码的形势来窃取覆按数据.为了搞定覆按数据敏锐性的问题， 保护覆按数据苦衷， Shokri等东谈主[169]漠视了相连式深度学习(collaborative deep learning)模子， 其中， 每个参与者通过土产货覆按和按期更新、交换参数来构建长入模子， 以保护各自覆按集的苦衷.关联词， Hitaj等东谈主[170]发现:任何苦衷保护(privacy preserving)的相连深度学习其实并莫得果真地保护用于覆按的东谈主脸数据， 其应用于模子分享参数的记载层面(record-level)上的差分苦衷机制对于作家漠视的基于GAN的报复是无效的.针对在线学习(online learning)场景下的机器学习模子， Salem等东谈主[171]漠视基于生成对抗辘集的搀和生成辘集(BM-GAN)， 愚弄模子在更新前后针对交流样本预计遣散的变化来窃取用于更新模子的覆按数据信息.
(2) 属性推断报复(property inference attack)
除了窃取具体的覆按数据以外， 报复者不错窃取模子覆按数据的敏锐苦衷属性， 如用于坏心软件检测模子的覆按数据测试环境或某一类数据在覆按聚集的占比等.Ateniese等东谈主[172]初度漠视了基于元分类器(meta- classifier)的属性推断报复， 何况解说， 仅提供记载级苦衷的差分苦衷机制无法灵验地防护属性推断报复.关联词， 尽管该属性推断报复方法针对隐马尔可夫模子(HMM)和支执向量机(SVM)有很强的报复效果， 但由于深度神经辘集模子的复杂性， 使得覆按元分类器变得困难， 导致严重地削弱了该报复在深度神经辘集上的报复效果.为搞定这一问题， Ganju等东谈主[173]漠视一种新的针对全聚会神经辘集(FCNNs)的属性推断报复方法， 简化了元分类器的覆按流程.Melis等东谈主[174]发现:在协同式深度学习模式下， 针对覆按数据子集的属性推断报复仍然能够成功.
(3) 成员推断报复(membership inference attack)
成员推断报复指报复者愚弄模子预计遣散来推断模子覆按数据中是否包含某个覆按样本的一种报复形势， 这类报复方法一样给机器学习安全和苦衷带来了严重的胁迫.在医疗领域， 许多自动医疗会诊系统都是基于病患的苦衷信息构建的， 一朝这些基于机器学习模子的自动会诊系统遭受到成员推断报复， 必将导致覆按数据中包含的病患苦衷信息走漏[175].Shokri等东谈主[176]漠视了一种成员推断报复方法， 该方法领先愚弄覆按数据和宗旨模子复返的预计概率向量及标签覆按一个与宗旨模子架构相似的影子模子(shadow model)， 以得到某条数据是否属于影子模子覆按集的标签; 然后将这些数据输入宗旨模子， 愚弄模子预计接口复返的预计类别、置信度以及该数据是否在覆按聚集的二值标签覆按一个分类模子; 终末给定一条待推断数据， 通过将宗旨模子针对该数据复返的预计概率和标签输入到覆按所得分类模子来判断该数据是否属于宗旨模子的覆按数据集.关联词， 这种报复基于的假定条款较强(如报复者必须了解宗旨模子结构、领有与宗旨模子覆按数据溜达交流的数据集等)， 因此报复实施的本钱较高.为搞定此问题， Salem等东谈主[177]放宽了这些症结假定， 何况解说立异后的报复方法能权贵地减低报复本钱， 因此将给执行部署应用中的机器学习模子的安全和苦衷带来更大的胁迫.此外， Melis等东谈主[174]研究发现， 协同式深度学习系统一样容易遭受到成员推断报复.
4.2 模子萃取在MLaaS平台上， 由于覆按数据频频属于贸易奥密或其中存在敏锐信息， 因此对外提供付费预计作事的机器学习模子一样具有一定的奥密性.关联词， 由于机器学习模子频频是由一系列的参数决定的， 因此通过求解模子参数就不错完结模子萃取.Tramèr等东谈主[2]发现:报复者表面上只需要通过模子预计接口进行n+1次查询， 就能窃取到输入为n维的线性模子.访佛地， Oh等东谈主[178]研究标明:报复者不错从一系列的查询遣散中逆向索要得到诸如覆按数据、模子架构以及优化流程等神经辘集的里面信息， 而这些走漏的里面信息将有助于报复者生成针对黑盒模子的更灵验的对抗样例， 从而权贵提高黑盒对抗报复方法的报复效果.此外， Wang等东谈主[179]漠视了超参数窃取报复(hyperparameter stealing attacks)， 研究遣散解说， 该报复适用于诸如岭转头、逻辑转头、支执向量机以及神经辘集等万般流行的机器学习算法.
4.3 苦衷保护方法 4.3.1 基于差分苦衷的数据苦衷保护苦衷保护数据分析研究跨越多个学科， 历史悠久.跟着互联网工夫的速即发展， 包含个东谈主信息的电子数据变得越来越丰富， 相应的数据汇集和管理工夫也越来越强项， 因此， 对于一个健壮的、挑升想的、数学上严格的苦衷界说以及餍足这个界说的一类计较丰富的算法的需求也随之加多.而差分苦衷(differential privacy)则是针对苦衷保护数据分析问题量身定制的苦衷界说[180]， 它将苦衷界说为添加或移除输入数据中的任何一札记载不会权贵影响算法输出遣散的一种属性.与苦衷保护数据分析目的一致， 苦衷保护的机器学习要肄业习者不错学习到苦衷数据聚集的数据溜达信息， 但同期不行过多地走漏数据聚集任何一个个体的信息.在这种场景中， 为了提供任何形式的挑升想的差分苦衷， 必须速即化机器学习系统的部摊派线.这种速即化流程既不错在模子的覆按阶段完成， 也不错在模子推理阶段， 通过速即选拔模子预计遣散来完结.
(1) 覆按阶段的差分苦衷
覆按数据速即化的一个典型方法是数据餍足局部差分苦衷[181].Erlingsson等东谈主[182]想象了一种局部差分苦衷机制(RAPPOR)， 允许浏览器的开发东谈主员在餍足苦衷前提下汇集并使用来自浏览器用户的挑升想的统计数据.具体地， RAPPOR机制在用户将数据发送到用于汇集数据以覆按模子的聚集式作事器时， 经受速即响应来保护用户苦衷， 即:用户在响应作事器查询时， 以q的概率复返果真谜底或以1-q的概率复返速即值.Liu等东谈主[183]漠视了一种保护用户酬酢辘集苦衷信息的方法LinkMirage， 该方法通过吞吐酬酢辘集的拓扑结构， 从而允许不受信任的外部应用设施能够汇集挑升想的、具有苦衷保护的用户酬酢辘集信息以用于模子覆按.其他大多数研究则通过在覆按流程中向亏损函数[184]、梯度[185]、参数值[169]等添加快即噪声的形势来提供ε-差分苦衷保证.
(2) 预计阶段的差分苦衷
在模子的预计阶段， 不错通过引入速即噪声以速即化模子预计活动的形势提供差分苦衷保证.关联词跟着查询数目的加多， 引入的噪声量也随之增长， 因而导致模子预计的准确性裁减.为克服这一舛错， Papernot等东谈主[186]想象了一种保护数据苦衷的通用型框架——PATE(private aggregation of teacher ensembles)， 它不仅能够提供负责的差分苦衷保险， 也提供一定的直不雅苦衷(intuitive privacy)保险.具体地， 该框架先将覆按数据永诀红N个不相交的子集; 然后用这些子集分别覆按不同的模子， 得到N个零丁的锻练模子; 终末在预计阶段， 通过统计每个锻练模子的预计遣散并及第票数最高的遣散将预计遣散团聚起来.淌若大部分锻练模子都痛快某一个预计遣散， 那么就意味着它不依赖于具体的分散数据集， 是以苦衷本钱很小; 但淌若有两类预计遣散有相近的票数， 那么这种不一致省略会走漏苦衷信息.因此， 作家在统计票数时引入了拉普拉斯噪声， 把票数的统计情况打乱， 从而保护苦衷.事实上， 每次查询团聚锻练模子时都会加多苦衷本钱， 因为它每次给出的遣散或多或少都会走漏一些苦衷信息.因此， 作家愚弄团聚锻练模子以苦衷保护的形势对未标记的寰球数据进行标注， 然后用标记好的数据覆按学生模子， 最终将学生模子部署到用户开辟上.这种作念法不错防守报复者窃取苦衷覆按数据， 因为在最坏情况下， 报复者也只可得到学生模子的覆按数据， 即带有苦衷保护标注信息的公开数据.
(3) 防护成员推断报复
Salem等东谈主[177]以为:成员推断报复之是以能够成功， 原因之一在于机器学习模子在覆按流程中辽阔存在过拟合表象.基于这一理会， 作家漠视了愚弄速即失活(dropout)和模子集成(model stacking)的方法来防护成员推断报复.Nasr等东谈主[187]引入一种苦衷机制来覆按机器学习模子， 并将其形式化为最小-最大博弈优化问题， 愚弄对抗性覆按算法使模子的分类损结怨成员关系推理报复的最大增益最小化， 以使报复者无法区分最终覆按所得模子对其覆按数据以及对兼并溜达中其他数据点的预计遣散.Hagestedt等东谈主[188]则漠视了一种新的差分苦衷机制SVT2， 能够权贵裁减DNA甲基化(DNA methylation)等生物医学数据的成员苦衷风险.
4.3.2 基于密码学的模子苦衷保护密码学是数学和计较机科学的分支， 其道理波及多量的信息表面.密码学关联工夫被平素地应用于通讯加密及信息完竣性考证， 以保证通讯信息的奥密性和完竣性.在机器学习领域， 同态加密、安全多方计较等工夫也被平素地应用于保护机器学习模子的安全和苦衷.
Dowlin等东谈主[189]将同态加密工夫引入到神经辘集中， 以允许神经辘集在不明密数据的情况下径直处理加密数据.由于同态加密工夫将给机器学习模子的体捆绑构想象引入额外的管制， 因此， 该方法受限于同态加密的性能支拨以及所支执的有限算术运算集.为搞定这一问题， Liu等东谈主[190]为神经辘集中诸如线性调节、激活函数和池化等常用操作， 想象了不经意(oblivious)条约， 并结合乱码电路、同态加密等密码学关联表面漠视了MiniONN.这种方法不错在不需要改变模子覆按形势的情况下， 将普通神经辘集调节为不经意神经辘集(oblivious neural network)， 以支执保护苦衷的模子预计.
此外， 许多学者漠视将安全多方计较(secure multi-party computation)应用于协同式机器学习框架中(举例岭转头[191]、线性转头[192]等)， 以保证参与各方覆按数据的苦衷.Bonawitz等东谈主[193]漠视了一种转移应用场景下的数据团聚安全条约， 该条约愚弄安全多方计较的形势计较各个用户开辟的模子参数更新总额， 以确保客户端开辟的输入仅由作事器进行团聚学习.该条约不仅支拨低， 而且还不错容忍多量的开辟故障， 因此是转移应用的联想选拔.Mohassel等东谈主[194]漠视了一种基于安全多方计较的、适用于线性转头、逻辑转头和神经辘集的模子覆按守密条约， 该条约大幅度地提高了已有起初进的搞定决策着力.
5 研究难点与改日挑战尽管机器学习模子安全与苦衷研究依然取得了一系列瞩目的研究遣散， 但面前该研究还处于低级阶段， 依然存在许多症结问题尚待搞定.同期， 万物互联期间数据的执续暴增， 深度学习、迁徙学习、强化学习等新一代机器学习工夫进一步发展应用， 给机器学习的安全应用和苦衷保护带来了新的挑战.在现阶段， 机器学习模子安全与苦衷研究濒临的主要挑战有:在大数据环境下， 何如冲破海量多元异构数据的着实处理与苦衷保护工夫; 在对抗环境下， 何如进一步增强对抗攻防工夫的研究; 在洞开场景下， 何如完结机器学习模子风险量化评估.
5.1 数据着实处理与苦衷保护构建着实、可靠以及苦衷保护的数据处理工夫体系， 是保险机器学习模子安全的基石， 亦然模子安全与苦衷保护的上游研究.在大数据环境下， 数据具有海量、多元、异构等性情， 数据汇集也存在着数据起首广、质料不可控、苦衷保护要求高级难点， 因而给数据着实处理与苦衷保护研究带来了庞大的挑战.
濑亚美莉全集数据着实处理与苦衷保护的第1个挑战是:何如灵验地增强机器学习模子覆按数据的质料， 以保证数据的可靠性和安全性.由于机器学习模子覆按数据采集可能来自不同的数据源， 导致其正确性和完竣性无法得到保险; 同期， 异构数据还可能存在冗余、不一致等问题.而现阶段穷乏多维度的数据评价计算， 因而无法对数据质料进行灵验的抽象性评估.此外， 在对抗环境下， 报复者不错制造多量的对抗样本进行下毒报复以干扰模子的覆按流程.关联词， 对抗样本视觉上频频难以感知， 何况报复技能在不休地演化， 而现存研究漠视的数据增强与清洗工夫只可进行粗粒度的数据处理， 无法灵验地检测出数据欺凌中的坏心数据.因此， 改日研究应入辖下手建设完善的数据质料评估体系， 基于多维度的计算对数据质料进行抽象评估， 并使用重叠排斥、缺失处理、逻辑诞妄检测、不一致数据处理等方法对数据质料进行增强.同期， 还需要研究援手数据的动态检测机制， 尤其是基于主动学习策略不休更新对抗样本检测算法， 同期在检测出对抗样本的基础上， 通过样本的重构完结数据的着实处理， 以保证机器学习模子覆按数据的可用、可靠、着实和安全.
数据着实处理与苦衷保护的另一个挑战是:何如冲破敏锐数据苦衷化处理工夫， 以保证覆按数据苦衷以致是覆按模子的奥密性.机器学习数据具有高维度特征， 不同特征的敏锐进度不一样， 对于敏锐度高的特征需要进行苦衷化处理， 以免在覆按或应用流程中被窃取.现存研究大多数基于差分苦衷或同态加密等工夫， 而在基于差分苦衷的苦衷化处理工夫中， 数据的可用性和苦衷保证进度之间长久存在一定的衡量， 基于同态加密的苦衷化处理工夫一样受限于所支执的有限算术运算集和加密性能.因此， 建设和完善数据敏锐性分级评估、分级数据脱敏、数据苦衷性评估体系， 是改日数据苦衷保护研究发展的一个势必趋势.
5.2 对抗攻防博弈现存研究中所漠视的对抗报复算法大多都基于很强的假定， 即要求报复者必须能够获取模子的结构、参数等信息以用于计较模子的梯度信息， 即使无法获取模子的结构和参数信息， 报复者也必须要在能够获取到模子预计概率的前提条款下才能实施相应的报复.关联词在执行应用中， 这些假定条款频频很难餍足， 由于模子不合外公布， 报复者基本上无法获取模子的具体信息， 因此需要实施相应的黑盒报复.一朝模子在推理阶段只提供预计遣散而不提供对应的置信度概率， 那么好多的报复方法必将失效.此外， 现存的对抗报复研究主要聚集在视觉、文本以及语音等领域， 针对图数据的对抗报复研究相对较少.在已有的研究中， 对于扰动以及扰动管制的界说主要基于传统的图论见地和模子， 而穷乏可解释性以及与执行应用之间的筹办.因此， 何如弱化现存的强报复假定以想象出更鲁棒、更实用的报复方法， 同期将现存的报复方法膨胀到如速即游走(random walk)、信念传播(belief propagation)等传统图模子算法以及图神经辘集， 是改日对抗报复研究中比较有远景的一种方法.
对抗防护研究跟着对抗报复表面和工夫的跳跃而不休深切， 促进了对抗报复研究的进一步发展， 目的在于促进建设愈加完善的对抗防护体系.在现阶段， 对抗报复呈现转移态演化的趋势， 在对抗攻防博弈中， 对抗防护研究明白处于劣势.具体表当今于:现存的对抗防护研究所漠视的防护算法大多数是被迫的静态劝诫性防护， 无法灵验地适顶住抗报复方法的演化周期.因此， 改日对抗防护研究应入辖下手于建设动态自适合的防护体系， 结合对抗环境下报复与防护的动态博弈表面， 漠视攻防一体的对抗报复检测与防护机制， 以冲破对抗报复检测机制的动态演化与自适合防护工夫， 保证非受控环境下机器学习模子的安全性和可靠性.
5.3 模子风险量化评估在机器学习模子的人命周期中， 辽阔存在覆按数据欺凌、覆按流程劫执、中间数据删改等问题; 同期， 由于机器学习模子应用场景多元、算法想象复杂、开发东谈主员先验学问存在各异， 导致模子在想象开发流程中可能本人就存在间隙和舛错.此外， 模子完结所依赖的第三方框架(如TensorFlow和sklearn等)一样可能存在内存拜访越界、空指针援用等多种软件间隙， 从而给现实部署应用的机器学习模子带来诸如拒却作事报复、贬抑流劫执等潜在危害.关联词， 现阶段仍穷乏一个完善的风险评估体系， 导致无法对机器模子所濒临的安全风险进行量化评估， 因而无法保证已部署到坐蓐环境中的机器学习模子的安全性和可靠性.
对于模子的原生脆弱性， 由于模子完结流程中可能存在的间隙种类多、逻辑复杂， 不同间隙具有不同的风险所有， 使得基于东谈主工章程的间隙挖掘形势着力低下且不行发现新式间隙.因而， 改日研究需要冲破基于零先验学问的模子间隙自动化挖掘与分析等工夫， 以构建动态可膨胀的模子原生脆弱性分析模子.其中， 一种直不雅的方法是将系统安全领域的吞吐测试工夫迁徙到机器学习领域， 通过生成对抗辘集等生成模子， 生成高掩盖率的种子以对模子进行自动化测试， 从而冲破机器学习模子自动化会诊难题.对于模子所濒临的外部风险， 改日研究需要冲破场景关联的模子风险量化评级的难题.咱们不错结合具体的应用场景， 愚弄现存的攻防工夫评估模子在洞开环境中抵御外界风险的才气.
6 末端语跟着机器学习研究的进一步发展和机器学习工夫在执行场景中的平素应用， 机器学习模子的安全与苦衷成为了一个重生而又有远景的研究领域， 招引了一多半来自于学术界和工业界学者的平素敬爱和深切研究麻豆， 何况取得了许多瞩目的研究遣散.关联词到面前为止， 机器学习的安全与苦衷保护研究还处于低级阶段， 依然存在许多症结的科学问题尚待搞定.为了再行注视机器学习发展和应用中存在的安全胁迫， 理清现存研究遣散的上风与不及， 明确改日的研究标的， 本文从数据、模子、应用这3个层面系统地研究了机器学习模子的安全与苦衷问题， 追想了多量极具影响力的研究遣散， 并对关联研究进行了科学的分类、总结和分析.同期， 本文指出了机器学习模子安全与苦衷保护研究当前边临的挑战， 探讨了改日可行的研究标的， 旨在为鼓励机器学习模子安全与苦衷研究的进一步发展和应用提供提醒和参考.