深度學(xué)習(xí)系統(tǒng)很容易受到生成樣本的攻擊,對(duì)輸入的參數(shù)進(jìn)行細(xì)微的改變會(huì)導(dǎo)致網(wǎng)絡(luò)輸出變化,但人類(lèi)肉眼卻看不出什么差別。通常,這些對(duì)抗樣本只對(duì)每個(gè)像素做少量調(diào)整,或者修改圖像中少量像素。也就是說(shuō),大部分對(duì)抗樣本都將重點(diǎn)放在對(duì)輸入數(shù)據(jù)極小或不易察覺(jué)的改變上。
在這篇論文中,谷歌的研究人員探討了如果分類(lèi)器不再僅限于微小的改變,最終輸出會(huì)是什么結(jié)果。他們構(gòu)建了一個(gè)獨(dú)立于圖像的補(bǔ)丁,能讓神經(jīng)網(wǎng)絡(luò)做出非常明顯的反應(yīng)。這個(gè)補(bǔ)丁可以放置在分類(lèi)器視野內(nèi)的任何地方,并讓分類(lèi)器輸出一個(gè)目標(biāo)類(lèi)。因?yàn)檫@個(gè)補(bǔ)丁是獨(dú)立于場(chǎng)景的,所以攻擊樣本無(wú)需提前了解光照條件、相機(jī)角度、分類(lèi)器類(lèi)型以及其他信息。
在VGG16上,用打印出的補(bǔ)丁對(duì)分類(lèi)器進(jìn)行攻擊。分類(lèi)器先將圖片以97%的概率識(shí)別為“香蕉”;在下圖添加補(bǔ)丁后,分類(lèi)器以99%的概率將其識(shí)別為“烤面包機(jī)”
生成對(duì)抗補(bǔ)丁之后,補(bǔ)丁可以發(fā)布到網(wǎng)上供其他人打印或使用。此外,由于攻擊會(huì)使用較大的擾動(dòng),目前的防御技術(shù)主要是針對(duì)較小擾動(dòng)的,面對(duì)大擾動(dòng)也許會(huì)不穩(wěn)定。最近的研究表明,在MNIST上最先進(jìn)的對(duì)抗訓(xùn)練模型仍然容易受到較大擾動(dòng)的影響。
與以往不同,研究人員將補(bǔ)丁作為圖像的一部分作為攻擊,它可以變成任意形狀,然后訓(xùn)練各種類(lèi)型的圖像,在每個(gè)圖像上隨機(jī)變換、縮放并旋轉(zhuǎn)補(bǔ)丁,使用梯度下降進(jìn)行優(yōu)化。
假設(shè)圖片x∈Rw×h×c,補(bǔ)丁為p,補(bǔ)丁位置l,補(bǔ)丁變換為t,將補(bǔ)丁應(yīng)用操作器(patch application operator)定義為A(p,x,l,t)。
操作器輸入一個(gè)補(bǔ)丁、一個(gè)圖片、一個(gè)位置以及任何補(bǔ)丁的變換,然后進(jìn)行訓(xùn)練,優(yōu)化識(shí)別出正確類(lèi)別的概率。
為了得到訓(xùn)練后的補(bǔ)丁P^,我們?cè)谀繕?biāo)函數(shù)上訓(xùn)練:
X表示正在訓(xùn)練的一套圖像,T是經(jīng)過(guò)變換的補(bǔ)丁分布,L是圖像位置的分布。
研究人員認(rèn)為這種攻擊利用了圖像分類(lèi)任務(wù)的構(gòu)建方式。雖然圖像可能包含多個(gè)對(duì)象,但只有一個(gè)目標(biāo)標(biāo)簽是正確的。所以網(wǎng)絡(luò)必須學(xué)會(huì)檢測(cè)每一幀最“明顯”的項(xiàng)目。對(duì)抗補(bǔ)丁通過(guò)生成比現(xiàn)實(shí)世界中的物體更顯著的輸入來(lái)利用這一特征。因此,在目標(biāo)檢測(cè)或圖像分割模型受到攻擊時(shí),我們希望烤面包機(jī)補(bǔ)丁能被分類(lèi)為烤面包機(jī),而不影響圖像的其他部分。
不同方法創(chuàng)造出對(duì)抗補(bǔ)丁的比較。成功率是將補(bǔ)丁放在圖片頂部計(jì)算的。每張圖片都經(jīng)歷了400張位置不同的補(bǔ)丁測(cè)試;同時(shí)又經(jīng)歷了400張不同大小補(bǔ)丁照片的測(cè)試
偽裝成不同類(lèi)別的補(bǔ)丁比較。研究人員發(fā)現(xiàn)他們可以改變補(bǔ)丁的樣式,但仍然能騙過(guò)分類(lèi)器
結(jié)果表明,這個(gè)通用、穩(wěn)定、有針對(duì)性的補(bǔ)丁無(wú)論放在圖片的哪個(gè)位置,都能成功騙過(guò)分類(lèi)器,而且不需要提前了解場(chǎng)景信息。這些補(bǔ)丁還可以打印出來(lái),在許多地方通用。
-
谷歌
+關(guān)注
關(guān)注
27文章
6170瀏覽量
105455 -
分類(lèi)器
+關(guān)注
關(guān)注
0文章
152瀏覽量
13195 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5504瀏覽量
121213
原文標(biāo)題:谷歌推出對(duì)抗補(bǔ)丁,可導(dǎo)致分類(lèi)器輸出任意目標(biāo)類(lèi)
文章出處:【微信號(hào):jqr_AI,微信公眾號(hào):論智】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論