亚博国际线上娱乐|官网

但添加的噪声可能会诱使图像辨认模子将蜗牛分类为彻底分比方的对

来源:未知 发布时间:2018-06-23 18:27

  假设你在房间的角落放一台低声嗡嗡作响的设施就能障碍 NSA 窃听你的私家谈话。你会感觉这是素来自科幻小说吗?实在这项手艺不久就会实现。

  假设你在房间的角落放一台低声嗡嗡作响的设施就能障碍 NSA 窃听你的私家谈话。你会感觉这是素来自科幻小说吗?实在这项手艺不久就会实现。

  匹敌性攻击可能会操纵深度进修的算法缝隙进行粉碎,激发诸如主动驾驶等使用的平安问题,但如上文所述,针对音频的匹敌性攻击对付隐衷珍爱也有踊跃意思。

  通过算法推导出此音频片断中所说的词语其实不容易。难点有如每个单词从哪里起头和哪里竣事?

  针对性匹敌攻击则伤害的多,由于这种攻击凡是会诱导模子发生攻击者想要的错误。例如黑客只要在「我去地方公园散步」的音频中插手一些难以发觉的乐音,模子就会将该音频转换为随机乱码,静音,以至像「当即打 911!」如许的句子。

  虽然语音攻击令人担心,但比拟其它使用类型中的攻击,语音辨认攻击可能其实不那么伤害。例如,不像主动驾驶中的计较机视觉手艺,语音辨认很少成为环节使用的焦点节制点。而且语音激活控件能够有 10 秒摆布的时间冗余,这段时间完万能够用来准确理解号令然后再去施行。

  非针对性匹敌攻击仅仅是让模子做犯错误的预测,对付错误类型却不做干涉。以语音辨认为例,凡是攻击完发生的错误成果都是有害的,好比把「Im taking a walk in Central Park」改变为「I am taking a walk in Central Park」。

  基线失真是通过尺度匹敌攻击天生的,能够将其视为监视进修使命的变体。在监视进修中,输入数据连结稳定,而模子通过更新使做出准确预测的可能性最大化。然而,在针对性匹敌攻击中,模子连结稳定,通过更新输入数据使呈现特定错误预测的概率最大化。因而,监视进修能够天生一个高效转灌音频的模子,而匹敌性攻击则高效的天生能够棍骗模子的输入音频样本。

  本年 1 月,伯克利人工智能钻研职员 Nicholas Carlini 和 David Wagner 发了然一种针对语音辨认 AI 的新型攻击方式。只要添加一些渺小的乐音,这项攻击就能够棍骗语音辨认体系使它发生任何攻击者想要的输出。论文曾经颁发在

  Carlini&Wagner 的自界说丧失函数。π 是已计较特性,δ 是已进修匹敌失真,τ 是最大可接管音量,ci 是一个用于最小化失真并进一步棍骗模子的参数,Li 是第 i 个输出令牌的丧失。

  2013 年,Szegedy 等人引入了第一个匹敌性样本,即对人类来说看似一般的输入,但却能够棍骗体系从而使它输犯错误预测。Szegedy 的论文引见了一种针对图像辨认体系的攻击方式,该体系通过在图片(蜗牛图片)中增添少量特地设想的噪声,增添完的新图像对付人来说并未转变,但添加的噪声可能会诱使图像辨认模子将蜗牛分类为彻底分歧的对象(好比手套)。进一步的钻研发觉,匹敌性攻击的要挟遍及具有:匹敌性样本在事实世界中也能见效,涉及的改动巨细最小能够只要 1 个像素;并且各类各样内容的图像都能够施加匹敌性攻击。

  别的,匹敌性攻击理论上能够用于确保隐衷。好比制作一个设施,这个设施通过发出温和的布景乐音使监控体系系将四周的对话误以为彻底缄默。即便窃听者想法记实您的对话,但要从 PB 级的非布局化原始音频搜刮出有用消息,还必要将音频主动转换为书面文字,这些匹敌性攻击旨在粉碎这一转化历程。

  虽然这种初始基线攻击可以或许顺利的棍骗方针模子,但人们也容易觉察音频被改动过。这是由于 CTC 损耗优化器倾向于在曾经骗过模子的音频片断中增添没必要要的失真,而不是专一于方针模子更难棍骗的部份。

  不外目前还并无大功乐成。Carlini & Wagner 的攻击在利用扬声器播放时会失效,由于扬声器会扭曲攻击乐音的模式。别的,针对语音转文本模子的攻击必需按照每段音频进行定制,这个历程还不克不及及时完成。回首已往,钻研者们只破费了几年的时间就将 Szegedy 的初始图像攻击成长的如斯壮大,试想若是针对语音的匹敌性攻击的成长速率也这么快,那么 Carlini 和 Wagner 的钻研功效实在值得关心。

  这些攻击的例子就是深度进修的阿基里斯之踵。试想若是仅仅通过在泊车标记上贴上贴纸就可能粉碎主动驾驶车辆的平安行驶,那咱们还怎样置信主动驾驶手艺?因而,若是咱们想要在一些环节使命中平安利用深度进修手艺,那么咱们就必要提前领会这些弱点还要晓得若何防备这些弱点。

  Carlini 和 Wagner 的算法针对语音辨认模子的进行了第一次针对性匹敌攻击。它通过天生原始音频的「基线」失真乐音来棍骗模子,然后利用定制的丧失函数来缩小失真直到无奈听到。

  在语音辨认中,准确分类的概率是利用毗连主义时空分类(CTC)丧失函数计较的。设想 CTC 丧失函数的环节起点是界定音频界限很坚苦:与凡是由空格分开的书面言语分歧,音频数据以持续波形的情势具有。由于词汇波形之间可能具有很多「特性」,所以某个句子的准确辨认率很难最大化。CTC 通过计较所有可能的输出中「期冀输出」的总概率来处理这个问题。

  以后的语音辨认手艺成长优良,各至公司的语音辨认率也到了很是高的程度。语音辨认手艺落地场景也良多,好比智能音箱,另有近期的google IO 大会上爆红的会打德律风的 Google 助手等。本文章的重点是若何利用匹敌性攻击来攻击语音辨认体系。本文颁发在 The Gradient 上,全文翻译如下:

  尽管本文是初次提出针对语音辨认体系的攻击,但也有其他例如针对图像辨认模子体系的攻击(这个问题曾经获得了很多钻研,具体手艺手段能够参考 NIPS 2017 图像辨认攻防匹敌总结),这些都表不分深度进修算法具有严峻的平安缝隙。

  因为针对性攻击的最亏弱关键间接决定了攻击的强力与否,Carlini 和 Wagner 引入了一个定制的丧失函数,该函数会赏罚最强攻击部份的没必要要的失真。以基线失真为始,该算法会迭代地最小化该函数,在连结失真的匹敌性的同时逐步低落其音量,直到人听不到为止。关于亚博国际线上娱乐最终的成果是音频样本听起来与原始样本彻底不异,但攻击者能够使方针语音辨认模子发生肆意他想要的成果。

下一篇:上一篇:关于亚博国际线上娱乐不规范的经济勾当更是储藏着庞大风 上一篇:下一篇:没有了

与本文相关的作文