1. 首頁 > 云知道 > >

AI技術領域未來幾年最引人矚目的新方向是什么？

對抗


AI技術領域未來幾年最引人矚目的新方向是什么？


選自：學術頭條 作者：汶川
在調查近幾年AI領域的過程中 ， 我發現近幾年對抗攻擊的概念逐漸出現在全世界各國研究人員的視野中 ， 我認為這將會是現在乃至未來幾年最引人矚目的新方向之一 。
1.概述
我在國內的兩個著名的學術搜索網站 AMiner 和 Acemap 進行了調查 ， 以 adversarial attack和相近意思的 poisoning attack 等詞作為關鍵詞搜索了相關的論文 ， 以下是兩個網站給出的論文數據分析圖表 。
一方面 ， 從圖中很明顯可以看出 ， 在2015年直到今年 ， adversarial attack相關的論文顯著增多 ， 這說明了在機器學習發展飛速的今天 ， 機器學習的安全問題逐漸被研究者們所重視 。 所以我認為這個方向在未來幾年應該會是一個新興的熱點 。
另一方面 ， 雖然這類論文在近幾年顯著增多 ， 但是這并不能說明這個方向的前景更好、可挖掘的知識更多 。 所以我又搜索了另一個現在已經成為熱門方向的領域——reinforcementlearning的數據來作為對比 。
通過對比 reinforcement learning 和 adversarial attack 的熱度和論文發表數量 ， 可以發現與強化學習這類已經成為熱門的方向相同 ， 對抗攻擊也開始有論文、熱度急劇上升的階段 ， 但是與之不同的是 ， 對抗攻擊論文的絕對數量至今仍很少 。
這說明了對抗攻擊的可研究的東西還處于正在被研究者們逐漸挖掘的過程 ， 還未形成一個體系 。 所以從這一點 ， 直觀上來說 ， 我認為最近的科技新詞應當是 adversarial attack 。
2.原理
對抗攻擊的開山之作 Intriguing properties of neural networks[12]中提到了神經網絡的兩個現象 。
【AI技術領域未來幾年最引人矚目的新方向是什么？】第一個是高維神經網絡的神經元并不是代表著某一個特征 ， 而是所有特征混雜在所有神經元中;第二個是在原樣本點上加上一些針對性的但是不易察覺的擾動 ， 就很容易導致神經網絡的分類錯誤 。
第二個性質就是對抗攻擊的理論基礎 ， 后來Goodfellow 在 Explaining and Harnessing Adversarial Examples[13]中提出原因并非是深層神經網絡的高度非線性和過擬合 ， 即使是線性模型也存在對抗樣本 。 在這篇論文中 ， 我們可以粗淺地認為對抗攻擊之所以能夠成功的原因是誤差放大效應:
假設我們給輸入樣本加入擾動 ， 則對抗樣本即為:x~= x η ， 其中η足夠小(|η|∞ ≤ ?) ，
我們考慮權重向量ω和對抗樣本x~的內積:
雖然微小擾動?通過神經網絡權重的內積導致擾動放大 ， 若權重維度為 n 均值為 m ， 則顯然???的最大值為εmn ， 此時? = ?????(?) 。 因此在高維空間中 ， 即使是很小的擾動 ， 也會對最終的輸出值產生很大的影響 。
3.發展過程
在調研該領域的論文的過程中 ， 我發現 ， 作為machine learning security 的方向 ， 對抗攻擊的發展可以歸結為兩個核心:不斷尋找新的應用場景 ， 不斷利用新的算法
3.1不斷尋找新的應用場景
每當 machine learning有新的領域出現 ， 研究者都會試圖在該領域上進行對抗攻擊的研究 ， 來研究出攻擊這種領域的方法和防御的方法 。 以下是我找到的一些典型領域的對抗攻擊研究成果:
3.1.1 Computer vision
Attacks for classification
圖片分類是計算機視覺最經典的任務 ， 因此在這個應用場景的對抗攻擊論文最多 ， 比如:Jacobian-based Saliency Map Attack (JSMA)[1] ， One Pixel Attack[2] ， DeepFool[3]等 。
這些論文的思想都是相同的:都是通過將圖像的像素點按順序或是隨機一個一個改變 ， 然后通過隱藏層的梯度來計算該點的改變對整張圖片的攻擊顯著性并且根據梯度來選擇下一個要改變的點 ， 通過這樣的訓練最終可以找到最優的攻擊像素 。

推薦閱讀