日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

  1. 首頁 > 云知道 > >

學(xué)習(xí)筆記整理系列之,深度學(xué)習(xí)( 二 )

云知道深度


例如，在計(jì)算機(jī)視覺領(lǐng)域，深度學(xué)習(xí)算法從原始圖像去學(xué)習(xí)得到一個(gè)低層次表達(dá)，例如邊緣檢測器、小波濾波器等，然后在這些低層次表達(dá)的基礎(chǔ)上，通過線性或者非線性組合，來獲得一個(gè)高層次的表達(dá) 。此外，不僅圖像存在這個(gè)規(guī)律，聲音也是類似的 。比如，研究人員從某個(gè)聲音庫中通過算法自動發(fā)現(xiàn)了20種基本的聲音結(jié)構(gòu)，其余的聲音都可以由這20種基本結(jié)構(gòu)來合成！在進(jìn)一步闡述深度學(xué)習(xí)之前，我們需要了解什么是機(jī)器學(xué)習(xí)（Machine Learning） 。
機(jī)器學(xué)習(xí)是人工智能的一個(gè)分支，而在很多時(shí)候，幾乎成為人工智能的代名詞 。簡單來說，機(jī)器學(xué)習(xí)就是通過算法，使得機(jī)器能從大量歷史數(shù)據(jù)中學(xué)習(xí)規(guī)律，從而對新的樣本做智能識別或?qū)ξ磥碜鲱A(yù)測 。而深度學(xué)習(xí)又是機(jī)器學(xué)習(xí)研究中的一個(gè)新的領(lǐng)域，其動機(jī)在于建立可以模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來解釋數(shù)據(jù)，例如，圖像、聲音和文本 。
深度學(xué)習(xí)之所以被稱為“深度”，是因?yàn)橹暗臋C(jī)器學(xué)習(xí)方法都是淺層學(xué)習(xí) 。深度學(xué)習(xí)可以簡單理解為傳統(tǒng)神經(jīng)網(wǎng)絡(luò)（Neural Network）的發(fā)展 。大約二三十年前，神經(jīng)網(wǎng)絡(luò)曾經(jīng)是機(jī)器學(xué)習(xí)領(lǐng)域特別熱門的一個(gè)方向，這種基于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)方法比起過去基于人工規(guī)則的專家系統(tǒng)，在很多方面顯示出優(yōu)越性 。如圖4-47所示，深度學(xué)習(xí)與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)之間有相同的地方，采用了與神經(jīng)網(wǎng)絡(luò)相似的分層結(jié)構(gòu)：系統(tǒng)是一個(gè)包括輸入層、隱層（可單層、可多層）、輸出層的多層網(wǎng)絡(luò)，只有相鄰層節(jié)點(diǎn)（單元）之間有連接，而同一層以及跨層節(jié)點(diǎn)之間相互無連接 。
這種分層結(jié)構(gòu)，比較接近人類大腦的結(jié)構(gòu)（但不得不說，實(shí)際上相差還是很遠(yuǎn)的，考慮到人腦是個(gè)異常復(fù)雜的結(jié)構(gòu)，很多機(jī)理我們目前都是未知的） 。圖4-47傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)與深度神經(jīng)網(wǎng)絡(luò)提示：人類大腦由千億個(gè)神經(jīng)元組成，同時(shí)每個(gè)神經(jīng)元平均連接到其它幾千個(gè)神經(jīng)元，這樣形成一個(gè)龐大的神經(jīng)元網(wǎng)絡(luò) 。通過這種連接方式，神經(jīng)元可以收發(fā)不同數(shù)量的能量，但它們對能量的接受并不是立即作出響應(yīng)，而是先累加起來，只有當(dāng)累加的總和達(dá)到某個(gè)臨界閾值時(shí)才把能量發(fā)送給其它的神經(jīng)元 。
而人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks, ANN）將人類神經(jīng)網(wǎng)絡(luò)作了數(shù)學(xué)上的抽象，如圖4-47所示，將其抽象為輸入層、輸出層以及中間的若干隱層（Hidden Layer，用于層次化地對內(nèi)在特征進(jìn)行降維和抽象表達(dá)，相當(dāng)于特征檢測器），其中每層都有若干結(jié)點(diǎn)及連接這些點(diǎn)的邊，通過在訓(xùn)練數(shù)據(jù)集上學(xué)習(xí)出邊的權(quán)重（Weight）來建立模型 。
邊所表征的函數(shù)（通常為非線性函數(shù)）的不同，對應(yīng)于不同的神經(jīng)網(wǎng)絡(luò) 。例如，第6章6.4.1節(jié)所介紹的感知機(jī)就是一種最簡單的、不含任何隱層的前向（Feedforward）人工神經(jīng)網(wǎng)絡(luò)，其中的函數(shù)被稱為傳遞函數(shù)（Transfer Function）、而門限截止函數(shù)則被用作激活函數(shù)（Activation Function） 。
在上世紀(jì)七八十年代，這種在人工智能領(lǐng)域被稱為聯(lián)結(jié)主義學(xué)派（Connectionism）的方法曾盛極一時(shí) 。但是后來，因?yàn)槔碚摲治龅碾y度，加上訓(xùn)練方法需要很多經(jīng)驗(yàn)和技巧，以及巨大的計(jì)算量和優(yōu)化求解難度，神經(jīng)網(wǎng)絡(luò)慢慢淡出了科研領(lǐng)域的主流方向 。值得指出的是，神經(jīng)網(wǎng)絡(luò)（如采用誤差反向傳播算法：Back Propagation，簡稱BP算法，通過梯度下降方法在訓(xùn)練過程中修正權(quán)重使得網(wǎng)絡(luò)誤差最小）在層次深的情況下性能變得很不理想（傳播時(shí)容易出現(xiàn)所謂的梯度彌散Gradient Diffusion或稱之為梯度消失，根源在于非凸目標(biāo)代價(jià)函數(shù)導(dǎo)致求解陷入局部最優(yōu)，且這種情況隨著網(wǎng)絡(luò)層數(shù)的增加而更加嚴(yán)重，即隨著梯度的逐層不斷消散導(dǎo)致其對網(wǎng)絡(luò)權(quán)重調(diào)整的作用越來越小），所以只能轉(zhuǎn)而處理淺層結(jié)構(gòu)（小于等于3），從而限制了性能 。

推薦閱讀