网易首页 > 网易号 > 正文 申请入驻

AI研习丨专题:人工智能系统自身的攻防对抗

0
分享至

  

  近年来,人工智能飞速发展,在智能语音、计算机视觉和自然语言处理等方面的基础应用技术逐渐成熟,自动驾驶、智能服务机器人和智能安防等人工智能新产品新业态层出不穷。与此同时,人工智能系统面临的恶意攻击者也越来越多,人工智能的安全已经成为一个受到广泛关注的问题。我们不仅要关注使用人工智能技术来 解决安全问题,如恶意代码检测和漏洞检测等,更要关注人工智能系统自身的攻防问题,提高人工智能系统的防御能力,促进人工智能的广泛应用。

  针对人工智能的攻击技术

  针对人工智能系统的恶意攻击者一般有两种目的,一是窃取人工智能系统的数据信息或者模型信息;一是干扰人工智能系统的功能正确性以达到自己的目的。

  1. 窃取信息的攻击技术

  人工智能的四大要素是数据、算法、算力和行业。随着大数据技术发展,数据的价值受到重视,如何汇集利用数据成为人工智能的主要问题之一。算法是实现人工智能的根本途径,是挖掘数据智 能的有效方法;算力为人工智能提供了基本计算能力的支撑,是算法实现的基础。数据、算法和算力只有结合实际的行业场景,才能体现出实际的价值,实现行业创新和创造。数据和算法无疑是开发者非常重要的资源,具有一定的商业价值,窃取信息意味着攻击者想要通过某种手段非法获取系统的数据和算法信息。

  (1)模型窃取攻击

  因为敏感的训练数据和商业价值或者在安全应用中的使用,一些人工智能的模型是机密的。越来越多的机密模型会使用可公开访问的查询接口进行部署。比如,机器学习服务(预测分析)系统就允许用户在可能敏感的数据上训练模型,并按照每次查询的方式向其他人收取访问费用,目前Amazon、Google 和 Microsoft 已经部署相应的机器学习服务平台,提供了机器学习接口(API)。

  

  2.干扰功能的攻击技术

  随着人工智能在各行各业的广泛应用,恶意攻击者会通过某种手段来躲避人工智能系统的检测或者破坏人工智能的功能,从而达到攻击别人或者以此牟利等目的。

  (1)逃避检测攻击

  人工智能正越来越多地用于对安全敏感的应用程序中,例如垃圾邮件过滤、恶意软件检测和网络入侵检测,通过阅读系统的相关介绍或利用输入输出进行实验,恶意攻击者可能会意识到机器学习检测器的细节,例如分类器的选择和使用的参数,然后修改他的行为以逃避检测,使得人工智能系统学习混乱。也就是说,逃避检测攻击是对人工智能系统的攻击,对手旨在通过操纵恶 意测试样本来避免被检测到,例如通过混淆常见的垃圾邮件词或插入与合法电子邮件关联的词来修改垃圾邮件。

  (2)数据污染攻击

  数据污染攻击是指攻击者对用于训练的数据进行恶意修改来降低或消除其有效性,从而主动篡改机器学习模型。这些恶意修改可以是插入实例(例如发送特制的电子邮件,无论是良性还是恶意),或者修改数据中的实例(攻击一个用来存储部分数据的服务器),还可以有选择地删除一些实例。

  逃避检测攻击和数据污染攻击之间的关键区别是,前者是对学习模型的攻击(例如实际的分类器);后者则是对算法的攻击(例如最小二乘 法回归学习)。

  这里举一个恶意众包的示例。恶意众包是指攻击者雇佣一群互联网用户进行恶意活动,比如 制造传播虚假谣言的促销活动。假设我们有一个机器学习分类器来检测众包工人,那么逃避攻击就是个体的众包工作者调整自己的行为模式,比如模仿普通用户的行为,来规避训练有素的机器学习分类器的检测。污染攻击则有众包网站的管理员参与,通过污染训练数据来操纵机器学习检测器的训练过程。

  

  人工智能的防御技术

  由于人工智能现在已经广泛地应用于各行各业,为了保障人民利益和隐私安全,如何防御对人工智能系统的攻击已经成为一个十分急迫且必要的问题。根据防御对象的不同,可以将人工智能的防御技术分为针对输入数据的防御技术和针对模型的防御技术。

  1.针对输入数据的防御技术

   因为很多恶意攻击者利用输入数据来对人工智能系统进行攻击,获取模型的信息或者破坏模型的功能,针对输入数据的防御技术应运而生。为了防御恶意攻击者利用输入数据对人工智能进行的攻击,现在已经出现了很多不同类型的防御技术。

  (1)对抗训练

  对抗训练是指可以直接在对抗性样本的基础上重新训练模型,直到模型学会正确地对它们进行分类。这可以使网络对测试集中的对抗性样本具有鲁棒性,并且提高网络的整体泛化能力。这种方法是简单并且有效的,但是,因为对抗训练只能有效对抗再训练阶段使用的特定对抗性样本生成算法,所以并不能完全解决问题。

  此外,对抗性训练的方法想要在大规模模型(例如ImageNet模型)上使用是比较困难的,因为重新训练的成本较高。

  (2)输入变换输入变换的主要思想是对输入数据进行预处理或转换(例如图像裁剪、重新缩放、比特深度 缩减和JPEG压缩等)从而消除对抗扰动,然后将转换后的图像输入一个未修改的分类器。这种变换方法通常不会改变神经网络的结构。

  输入变换很容易被白盒攻击规避,因为攻击者可以相应地修改攻击算法,在对抗性样本的生成期间考虑系统会进行的变换操作;而在黑盒攻击中,它可以提供良好的保护。但是,输入变换不能消除输入数据中的对抗扰动,只能降低攻击成功率。

  (3)梯度屏蔽

  梯度屏蔽是指模型所有者希望通过阻止攻击者访问模型的有用梯度信息的方法来防御攻击。正如之前所提到的,对抗性样本的构造主要基于目标模型的梯度信息,如果没有有用的梯度信息,攻击者很难生成有效攻击的对抗性样本。例如,随机化方法在分类网络的开始添加随机调整大小层和随机填充层屏蔽梯度信息。随机调整大小是指将输入图像的大小调整为随机大小,随机填充 是指以随机方式在输入图像周围填充零。然而,梯度屏蔽通常不能有效地防御黑盒攻击,因为对抗性样本的可转移性,攻击者可以在易于攻击的模型上运行其的攻击算法,并将这些对抗性样本转移到难以攻击的模型。

  (4)检测与拒绝

  检测与拒绝的主要思想是系统由原始分类器和检测器组成。检测器可以检测到对抗性样本或者恶意用户,然后拒绝其输入或者访问,从而保护分类模型。例如,Lu等提出了一个SafetyNet模型,SafetyNet由传统的分类器(VGG19或ResNet)和对抗样本检测器(RBFSVM)组成。RBFSVM查看原始分类器中后面层的内部状态, 检测对抗性样本,如果检测器声明样本是对抗性的,那么样本将被拒绝。

  2.针对模型的防御技术

  针对模型的防御技术关注的是提升模型自身抵抗攻击的能力。在如何提高人工智能系统的鲁棒性方面已经有了一些研究,主要可以分为两类。一类是针对模型本身进行改进,例如Wang和Ye等通过实验讨论了剪枝对某些DNN鲁棒性的影响;而清华大学最新的研究表明,适当高的模型稀疏性意味着非线性神经网络具有更好的鲁棒性,而过度稀疏的模型则更难以抵抗对抗性样本。另 一类是结合其他安全技术来提升人工智能系统的防御能力,如Abadi等在差异隐私框架内学习和精确分析隐私成本;Huang等提出具有差分隐私的分布式机器学习,保证隐私的同时在通用目标函数下实现更高的效用。

  结束语

  随着人工智能技术的飞速发展和广泛应用,为了牟利出现的恶意攻击者越来越多,人工智能系统的攻防对抗已经成为一个热点问题,越来越多的研究者已经在这方面做出了许多成果。除了人工智能系统自身的攻防对抗,还有许多研究利用人工智能技术来加强传统系统的攻防对抗。为了促进人工智能的健康持续发展,人工智能系统的安全必须受到重视。

  (参考文献略)

  作者简介

  

  选自《中国人工智能学会通讯》

   2020年 第10卷 第4期 人工智能与安全专题

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐

澳大利亚有点急,中国和印尼签了一个15亿美元大单!

牛弹琴
2020-11-29 19:31:32

一家6口患性病,只因一个致命操作:酒店到底有多脏?

周冲的影像声色
2020-11-29 20:14:21

本想强奸,在女生的开导下,改为帮忙打飞机,这算是强奸吗?

刑事辩护研究
2020-11-29 15:27:58

进价24万元的茅台酒,误被2.65万元售出!卖家不发货,法院判了

半岛晨报
2020-11-29 16:24:19

央视爆料;全是假货,没有一件真品!

斗城表里如一
2020-11-29 22:17:23

女歌手公开质问钟南山:整天忙在镜头一线,治好过几个人?

音乐汪唯一账号
2020-11-29 12:52:48

浙江农林大学一女生将卖淫经历发网上:因为父亲滥情而不信任男性

伦旭动漫
2020-11-29 04:23:52

朴树妻子吴晓敏:结婚15年,没婚礼没蜜月,没房没孩,没收过花

娱乐江湖百晓生
2020-11-28 18:26:44

上海女子中奖林肯豪车,主办方“依法”耍赖被法院判决必须交车

青苗法鸣在线
2020-11-26 16:45:59

喷辣椒水、鞋子抽打、捂被子,嫌疑人出现幻觉后乱走,遭多名辅警及在押人员虐待8小时后死亡

潇湘晨报
2020-11-29 15:56:35

步“老毕”后尘!央视新晋当家小花旦被开除,如今现状令人唏嘘!

mx八卦城
2020-11-29 19:06:06

女子路边遭男子强奸,现场发现5个安全套

温州草根
2020-11-29 13:55:17

钟南山发表最新判断,全国中小学及幼儿园提前放假,做好联防准备

事事播报
2020-11-29 10:21:14

房东拒绝退还租金,租客花1万将店面改成公厕:24小时免费使用!

老于说娱乐
2020-11-29 11:34:28

钟点工拍视频晒雇主家卫生间、卧室……网友炸锅!雇主回应了!

FM93浙江交通之声
2020-11-29 20:40:09

海南“再生人”唐江山:3岁想起前世,6岁凭记忆找到前世父母

侃大叔通史
2020-11-24 06:10:02

球王马拉多纳去世,体力透支成致命因素,为取悦28岁女友,多次整容服药

海峡都市报
2020-11-29 17:17:45

来杯葡萄酒?为警告美国的一班盟友,中国挑澳大利亚下重手了

新知公社
2020-11-28 10:09:59

十九年来仅剩的一名玩家,坚持得让人感动,官方为他更新游戏

暴躁的小萝卜
2020-11-29 07:47:34

当全世界的面,特朗普态度180度转变,不只拜登,所有人都没想到

前沿时刻
2020-11-29 11:52:40
2020-11-30 01:36:59
http://dingyue.ws.126.net/mFVJ3bMwo0jtvDFnvBccIUkMiOD7gjm0=9u6FSCQitohZ1508811412422.jpg
中国人工智能学会
中国人工智能学会网易官方账号
965文章数 1112粉丝数
往期回顾 全部

科技要闻

苹果M1芯片成功运行Windows10

头条要闻

落马官员系林则徐后裔?基金会否认

头条要闻

落马官员系林则徐后裔?基金会否认

体育要闻

西甲-梅西世界波脱衣致敬老马 巴萨4-0奥萨苏纳

娱乐要闻

嘟嘴卖萌的白百何可爱吗?

财经要闻

汽车要闻

大众粉兴奋不?全新国产高尔夫GTI就要来了

态度原创

健康
手机
教育
时尚
房产

打玻尿酸变“僵尸脸”咋回事?

手机要闻

全国首家 上海地铁正式禁止手机外放

教育要闻

惠州一中学14岁男生校内身亡 警方:高坠死亡排除他杀

王耀庆恶搞GQ封面 演技感人

房产要闻

七场土拍八次刷新地价,国资也抢地!政府紧急约谈