日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

  1. 首頁(yè) > 云知道 > >

學(xué)習(xí)筆記整理系列之,深度學(xué)習(xí)( 四 )

云知道深度


對(duì)于圖像、語音這種特征不明顯（需要手工設(shè)計(jì)且很多沒有直觀的物理含義）的問題，深度模型能夠在大規(guī)模訓(xùn)練數(shù)據(jù)上取得更好的效果 。尤其是在語音識(shí)別方面，深度學(xué)習(xí)使得錯(cuò)誤率下降了大約30%，取得了顯著的進(jìn)步 。相比于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，深度神經(jīng)網(wǎng)絡(luò)作出了重大的改進(jìn)，在訓(xùn)練上的難度（如梯度彌散問題）可以通過“逐層預(yù)訓(xùn)練”來有效降低 。
注意，深度學(xué)習(xí)不是萬金油，像很多其他方法一樣，它需要結(jié)合特定領(lǐng)域的先驗(yàn)知識(shí)，需要和其他模型結(jié)合才能得到最好的結(jié)果 。當(dāng)然，還少不了需要針對(duì)自己的項(xiàng)目去仔細(xì)地調(diào)參數(shù)，這也往往令人詬病 。此外，類似于神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)的另一局限性是可解釋性不強(qiáng)，像個(gè)“黑箱子”一樣不知為什么能取得好的效果，以及不知如何有針對(duì)性地去具體改進(jìn)，而這有可能成為產(chǎn)品升級(jí)過程中的阻礙 。
深度學(xué)習(xí)通過很多數(shù)學(xué)和工程技巧增加（堆棧疊加：Stack）隱層的層數(shù)，如果隱層足夠多（也就是深），選擇適當(dāng)?shù)倪B接函數(shù)和架構(gòu)，就能獲得很強(qiáng)的表達(dá)能力 。深度學(xué)習(xí)的一個(gè)主要優(yōu)勢(shì)在于可以利用海量訓(xùn)練數(shù)據(jù)（即大數(shù)據(jù)），但是常用的模型訓(xùn)練算法反向傳播（Back Propagation）仍然對(duì)計(jì)算量有很高的要求 。而近年來，得益于計(jì)算機(jī)速度的提升、基于MapReduce的大規(guī)模集群技術(shù)的興起、GPU的應(yīng)用以及眾多優(yōu)化算法的出現(xiàn)，耗時(shí)數(shù)月的訓(xùn)練過程可縮短為數(shù)天甚至數(shù)小時(shí)，深度學(xué)習(xí)才在實(shí)踐中有了用武之地 。
值得一提的是，深度學(xué)習(xí)的誕生并非一帆風(fēng)順 。雖然Yahn Lecun在1993年提出的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network：CNN）是第一個(gè)真正成功訓(xùn)練多層網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)算法，但應(yīng)用效果一直欠佳?直到2006年，Geoffrey Hinton基于深度置信網(wǎng)（Deep Belief Net：DBN）——其由一系列受限波爾茲曼機(jī)（Restricted Boltzmann Machine：RBM）組成，提出非監(jiān)督貪心逐層訓(xùn)練（Layerwise Pre-Training）算法，應(yīng)用效果才取得突破性進(jìn)展，其與之后Ruslan Salakhutdinov提出的深度波爾茲曼機(jī)（Deep Boltzmann Machine：DBM）重新點(diǎn)燃了人工智能領(lǐng)域?qū)τ谏窠?jīng)網(wǎng)絡(luò)（Neural Network）和波爾茲曼機(jī)（Boltzmann Machine）的熱情，才由此掀起了深度學(xué)習(xí)的浪潮?從目前的最新研究進(jìn)展來看，只要數(shù)據(jù)足夠大、隱層足夠深，即便不加“Pre-Training”預(yù)處理，深度學(xué)習(xí)也可以取得很好的結(jié)果，反映了大數(shù)據(jù)和深度學(xué)習(xí)相輔相成的內(nèi)在聯(lián)系 。
此外，雖說非監(jiān)督（如DBM方法）是深度學(xué)習(xí)的一個(gè)優(yōu)勢(shì)，深度學(xué)習(xí)當(dāng)然也可用于帶監(jiān)督的情況（也即給予了用戶手動(dòng)標(biāo)注的機(jī)會(huì)），實(shí)際上帶監(jiān)督的CNN方法目前就應(yīng)用得越來越多，乃至正在超越DBM 。提示：與前向神經(jīng)網(wǎng)絡(luò)不同，RBM（受限波爾茲曼機(jī)）中的可見層和隱含層之間的連接是無方向性且全連接的 。對(duì)比差異無監(jiān)督訓(xùn)練是RBM的一個(gè)重要算法，包含了正向過程、反向過程和權(quán)值更新三個(gè)步驟，主要目標(biāo)是使生成的數(shù)據(jù)與原數(shù)據(jù)盡可能相似，并通過對(duì)比兩者的差異來調(diào)整權(quán)值更新：其中，α是學(xué)習(xí)速率 。
這樣的網(wǎng)絡(luò)可具備感知對(duì)輸入數(shù)據(jù)表達(dá)程度的能力，而且嘗試通過這個(gè)感知能力重建數(shù)據(jù) 。如果重建出來的數(shù)據(jù)與原數(shù)據(jù)差異很大，那么進(jìn)行調(diào)整并再次重建 。2012年6月，《紐約時(shí)報(bào)》披露了Google Brain項(xiàng)目，吸引了公眾的廣泛關(guān)注 。這個(gè)項(xiàng)目是由著名的斯坦福大學(xué)的機(jī)器學(xué)習(xí)教授Andrew Ng和在大規(guī)模計(jì)算機(jī)系統(tǒng)方面的世界頂尖專家Jeff Dean共同主導(dǎo)，用16,000個(gè)CPU Core的并行計(jì)算平臺(tái)去訓(xùn)練含有10億個(gè)節(jié)點(diǎn)的深度神經(jīng)網(wǎng)絡(luò)（DNN，Deep Neural Networks），使其能夠自我訓(xùn)練，對(duì)2萬個(gè)不同物體的1,400萬張圖片進(jìn)行辨識(shí) 。
在開始分析數(shù)據(jù)前，并不需要向系統(tǒng)手工輸入任何諸如“臉、肢體、貓的長(zhǎng)相是什么樣子”這類特征 。Jeff Dean說：“我們?cè)谟?xùn)練的時(shí)候從來不會(huì)告訴機(jī)器：‘這是一只貓’（即無標(biāo)注樣本） 。系統(tǒng)其實(shí)是自己發(fā)明或領(lǐng)悟了‘貓’的概念 。”2014年3月，同樣也是基于深度學(xué)習(xí)方法，F(xiàn)acebook的 DeepFace 項(xiàng)目使得人臉識(shí)別技術(shù)的識(shí)別率已經(jīng)達(dá)到了 97.25%，只比人類識(shí)別 97.5% 的正確率略低那么一點(diǎn)點(diǎn)，準(zhǔn)確率幾乎可媲美人類 。

推薦閱讀