当前位置:首页 > 新闻 > 正文

让智能安全互联

发布时间: 2019-02-25 16:36   作者: 董健、程斌   来源: 人工智能杂志

  新技术的不断迭代与进步,触发了AIoT的诞生。AIoT,即“AI+IoT”,指的是人工智能技术与物联网的融合。如今,AIoT在智能家居、智能驾驶、金融、安防、工业制造等领域应用广泛,逐渐打破了虚拟世界和物理世界的界限。与此同时,有关AIoT的安全性也日益变得重要。本文将介绍从IoT到AIoT时代的过渡,分析AIoT时代所面临的新挑战,并探索构建完备的AIoT防御体系,维护AIoT生态健康发展的有效方法。

  随着IoT和AI技术的快速发展,各种智能的AIoT设备逐步渗透到我们生活的方方面面。智能音箱、智能摄像头、机器人、智能驾驶等AIoT应用,打破了虚拟世界和物理世界的界限,重塑着我们的生活方式。AIoT设备在带给我们便利的同时,却也面临着崭新的安全问题。为此,我们相信未来将是SAIoT的时代,AI让IoT更加智能,而安全(Security)则呵护着智能万物互联。

  一、从IoT到AIoT

  物联网(IoT),简单来说是能行使独立功能的设备实现互联互通的网络。物联网从诞生起,就肩负着万物互联的使命。但想要真正实现有效的万物互联,仅仅有IoT还远远不够。首先,各种IoT设备互联互通时产生了海量的数据,使对数据的自动智能分析成为一种刚需。以监控系统为例,单纯的视频录制功能已经无法满足我们的日常监控需求。现代的监控系统面对海量的视频,必须支持对监控内容的AI分析,并且能够给出实时反馈,进而指导安防或者交通决策。其次,各种不同形态的IoT设备,也对智能交互提出了新的需求。例如,国内外各大巨头都在布局的智能音箱,已经渗透到我们生活的各个方面,并逐渐成为智能家居的入口。这些IoT需求的满足依赖于AI的赋能。因此,IoT与AI的融合越来越紧密,催生了最近非常流行的AIoT概念。

  AIoT即“AI+IoT”,指的是人工智能技术与物联网的融合。随着传感器的快速廉价化和小型化,以及通信技术的迅速发展,IoT的硬件基础已经越来越完备。与此同时,AI框架的逐步成熟以及AI芯片的快速发展,也使得端上AI成为可能。依赖于IoT和AI的不断进步,这两年AIoT得到了快速的发展,智能音箱、扫地机、摄像头等AIoT设备也开始快速普及。为了应对AIoT时代的挑战,360也打造了视觉引擎、交互引擎、运动引擎等AI核心能力,全面赋能各种IoT设备,实现能看、能动和能聊。

  AIoT在智能家居、智能驾驶、金融、安防、工业制造等领域的应用,逐渐打破了虚拟世界和物理世界的界限。AIoT系统的响应,不再局限于虚拟空间,而是可以通过各种AIoT设备,投射到我们生活的物理空间中。AIoT设备的安全,不再仅仅是信息安全,而是关系到隐私、财产、交通甚至公共安全。例如,一个扫地机器人或者智能驾驶汽车会不会突然不受控制,攻击用户?再比如智能门锁,如果开锁的信息或者开锁的行为习惯泄露,可能对用户的人身财产安全造成新的威胁。如图2所示,在AIoT时代,用户对产品的要求已经和传统互联网有很大的不同,这些都是用户在新的时代下完全不一样的考虑。因此,进入到AIoT时代以后,人们对AIoT系统的安全性越来越重视,安全的重要性将达到一个新的高度。

  二、AIoT时代面临的新挑战

  万物互联的AIoT时代,越来越多的智能硬件设备开始进入我们的生活。AIoT设备在改变我们生活的同时,也不可避免地带来了各种新的安全问题。传统的互联网安全,主要是防止数据盗取造成的隐私泄露以及其他由于信息泄露造成的损失,但对于物理世界,往往没有直接的影响。而到了AIoT时代,AIoT设备作为沟通虚拟世界和现实世界的桥梁,需要通过智能的分析与决策,为用户创作新的价值。AIoT的各种智能分析与决策都依赖于AI技术,而AI能力的引入,使得系统面临各种新形式的攻击,传统设备厂商往往对这些新的攻击形式缺乏全面的了解,新的安全危机日益凸显。

  从系统的角度看,AIoT的安全挑战有两个层面。第一个层面是传统的网络安全,因为AIoT设备本身需要一直联网,因此就有潜在的系统和网络风险。第二个层面是AI系统的引入会给AIoT设备带来新的风险,这是AIoT时代对安全提出的新挑战。传统网络安全的研究很多,目前的认知程度也比较高。因此,我们接下来重点介绍AIoT面临的各种新威胁。

  对抗样本攻击

  对抗样本攻击是目前比较常见的一种攻击手段[1]。简单来说,对抗样本攻击通过对原始数据构造人类难以分辨的扰动,从而引起人工智能算法决策输出的改变,造成人类与人工智能认知的差异。对抗样本攻击是目前攻防领域的一个重点,因为产生的对抗样本难以被人察觉,隐蔽性较好,而且往往会让模型在较高的置信度下给出错误的预测,对系统的危害性较大。

  对于对抗样本存在的原因,目前还没有统一的解释。一个接受度比较广泛的假设是,目前主流的机器学习算法主要是对训练集进行拟合,而不是学习和人类感知完全一样的理想数据分布。因此,模型对于真实世界出现过的数据区域效果很好,但对不存在于真实世界的数据区域,分界面相对不是很准确。对于这些模糊地带,如果我们蓄意构造一些恶意的数据,甚至是在模型层面做模型逆向攻击等,就可以产生对抗攻击样本。如图3所示,在模糊区域中添加微小的扰动,就可能会造成样本的预测结果发生变化,导致结果从A跳到了B。

  目前的对抗样本攻击,按照对AI模型信息的掌握程度,可以分为白盒攻击和黑盒攻击。在白盒攻击中,攻击者能够获知AI系统所使用的算法以及相应的参数。而黑盒攻击中,攻击者并不知道AI系统所使用的算法和参数,只能通过与系统交互完成攻击。对抗样本攻击按照攻击的目的可以分为目标攻击和非目标攻击。以人脸识别举例,如果我们希望伪装成特定人物,可以认为是目标攻击。如果希望系统将我们认定为任何其他人,则认为是非目标攻击。

  白盒攻击是最早出现的对抗样本攻击方式[1]。其基本原理是根据攻击目标设计相应的损失函数,然后通过优化求出对抗样本。损失函数一般包括感知损失和攻击损失两部分。感知损失通常为原始样本和对抗样本之差(即扰动)的范数,通过控制扰动的范数小于一定的阈值,从而保证产生的对抗样本难以被人类识别。攻击损失用来保证产生的对抗样本可以实现我们的攻击目标。例如,对于图片分类而言,可以使预测的类别和目标攻击类别尽量接近。相反地,对于非目标攻击,可以简单地让预测类别和真实类别的差距尽量大。如图4所示,对于损失函数和模型都可导的情况,优化问题可以通过对模型(如神经网络)的输入求导,然后将导数作为扰动添加到原始样本中的方式快速求解。在具体实现时,我们可以使用较大的步长进行单步攻击[2],也可以采用多步迭代攻击的方式,每一步都在上一步的基础上添加一个微小的扰动,最终所有的扰动合起来作为最终的扰动[3]。

  白盒攻击对先验知识的要求比较高,实际中往往难以满足。因此,现实中使用更为广泛的是黑盒攻击。黑盒攻击最常见的方式就是利用模型的可迁移性[4][5]。对白盒攻击的研究发现,对某种模型的白盒攻击结果,往往可以迁移到其他的模型上[2]。黑盒攻击可以利用这种迁移性,利用已有的和目标系统功能类似的AI系统,通过白盒攻击技术产生对抗样本,进而对目标系统进行黑盒攻击。如果没有可以直接使用的系统,也可以通过训练替代模型实现攻击[6]。具体来说就是先设计替代模型的结构,然后不断通过算法合成对替代模型训练信息量最高的样本,紧接着通过目标网络对合成样本进行预测,并根据预测结果不断训练替代网络。通过不断迭代,使替代网络和目标网络尽可能一致,之后通过白盒攻击产生对抗样本,进而进行黑盒攻击。

  总体来说,虽然对抗样本攻击技术还在快速发展,但目前很多白盒/黑盒的攻击手段已经比较成熟,且已经有了诸如CleverHans这样的软件可以使用,因此对抗样本攻击对实际系统的威胁不容忽视[8][9][10]。而且除了直接对数据进行操作外,对抗样本也被证明存在于现实物理世界中,并可能对多种人工智能系统产生影响[7]。

  以现在广泛应用于智能支付、安防等领域的人脸识别技术为例,攻击者可以通过对抗样本攻击技术,对人脸识别系统进行欺骗。具体来说,通过对抗样本攻击技术,攻击者可以通过佩戴眼镜或者其他配件的方式,冒充特定用户(目标攻击)或者伪装成任意其他用户(非目标攻击),从而完成对刷脸ATM、门禁等AIoT系统的攻击[11]。除此之外,对抗样本攻击也可以用于语音领域。攻击者可以在正常语音中添加扰动(例如人完全听不到的声音或者无法察觉的微小变化),从而使人听起来正常的语言被识别成恶意指令[12]。这样的恶意攻击可以通过语音助手影响智能家居或者车载设备等,使攻击者可以对家居和汽车系统进行远程控制,比如控制汽车的导航系统,威胁用户的财产甚至人身安全。

  训练集污染

  对AIoT系统的另一种常见攻击是训练集污染,也叫做数据投毒。随着AIoT的发展,越来越多的系统开始采用在线学习、反馈学习等机制来提升性能,但与此同时也面临着被攻击的风险。在传统互联网中,垃圾邮件检测就是一种常见的反馈学习系统,系统会根据用户反馈更新模型。攻击者就可以使用系统的这种反馈机制,将特定邮件恶意地训练为垃圾/非垃圾邮件。而在AIoT时代,越来越多的系统开始使用用户数据进行反馈学习,例如聊天机器人、自动驾驶系统等,这将对AIoT的安全性提出新的要求。

  传感器攻击

  传感器作为AIoT系统中数据的来源,其数据的准确性是后续所有分析的基础。传感器安全在某些AIoT应用中也占有十分重要的地位。以自动驾驶为例,360对特斯拉辅助驾驶系统进行研究后发现,特斯拉Autopilot存在传感器漏洞,可以通过干扰、欺骗或致盲等手段,对特斯拉高级辅助驾驶系统(ADAS)传感器进行攻击,导致传感器接收到错误数据,从而使高级辅助驾驶系统决策失败,进而导致交通事故。

  AI系统漏洞

  系统风险是非常传统的、移动和PC时代都会面临的问题。而AIoT系统在引入AI算法后,会给系统带来额外的复杂性,因此需要特别的关注。例如,第三方的深度学习计算框架可能存在漏洞,而漏洞会给整个AIoT系统带来风险。如图7所示,系统中的数据预处理等环节中存在的信息压缩,如果没有适当的防御措施,都可能成为欺骗攻击的对象。

  以上内容精选于《人工智能》杂志第八期

  本文作者

  董 健

  360技术总监,前Amazon研究科学家,新加坡国立大学博士。2015年底从Amazon总部回国加入360至今,参与并领导了多个计算机视觉和大数据项目开发。曾多次领队参加Pascal VOC、ImageNet等世界著名人工智能竞赛并获得冠军,在TPAMI、TCSVT、CVPR、ICCV等国际期刊与会议上发表过多篇学术论文。

  程 斌

  360人工智能研究院技术总监。本科就读于中国科技大学,博士毕业于新加坡国立大学,主要从事机器学习、计算机视觉和人工智能方面的研究。曾在人工智能和大数据领域创业多年,2015年9月作为团队核心成员加盟360并成立人工智能研究院,主要负责视频图像和大数据领域的研发工作。

  欲阅读完整文章,可通过以下方式购买《人工智能》杂志!

  订阅2019年《人工智能》杂志6期共计360元

  银行转账:北京赛迪出版传媒有限公司

  开户行及账号:中国建设银行股份有限公司北京紫竹桥支行11050170560000000152

  银行转账,请备注:人工智能

  接收详细信息请发到:aiview@ccidmedia.com;或是添加客服微信:13601092749

收藏