日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

  1. 首頁(yè) > 云知道 > >

防止被算力“鎖死” AI進(jìn)化急需革命性算法

小知識(shí)科普計(jì)算算法常識(shí)深度學(xué)習(xí)


防止被算力“鎖死” AI進(jìn)化急需革命性算法



“深度學(xué)習(xí)所需的大規(guī)模樣本數(shù)據(jù)對(duì)于算力產(chǎn)生巨大需求，但近日美國(guó)麻省理工學(xué)院等研究機(jī)構(gòu)的報(bào)告顯示，深度學(xué)習(xí)正在逼近算力極限，而提升算力所需的硬件、成本和對(duì)于環(huán)境的影響正變得越來(lái)越難以承受……”
美國(guó)麻省理工學(xué)院、安德伍德國(guó)際學(xué)院和巴西利亞大學(xué)的研究人員在最近的一項(xiàng)研究中發(fā)現(xiàn)，深度學(xué)習(xí)的進(jìn)步強(qiáng)烈地依賴(lài)于計(jì)算的增長(zhǎng) 。 其結(jié)論顯示，訓(xùn)練模型的進(jìn)步取決于算力的大幅提高，具體來(lái)說(shuō)，計(jì)算能力提高10倍相當(dāng)于3年的算法改進(jìn)成果 。 大量數(shù)據(jù)和算力是促進(jìn)人工智能發(fā)展的重要因素，但是研究人員認(rèn)為，深度學(xué)習(xí)正在逼近算力極限 。 換言之，算力提高的背后，其實(shí)現(xiàn)目標(biāo)所隱含的計(jì)算需求——硬件、環(huán)境和金錢(qián)等成本將變得無(wú)法承受 。
研究人員表示，深度學(xué)習(xí)急需革命性的算法才能讓AI更有效地學(xué)習(xí)，并越來(lái)越像人類(lèi) 。 那么，為何深度學(xué)習(xí)算法十分依賴(lài)算力的增長(zhǎng)，現(xiàn)在算力的極限在哪里，如何突破？除了算力，深度學(xué)習(xí)還能否依靠其他方式改進(jìn)算法性能？革命性算法的標(biāo)準(zhǔn)是什么？
大規(guī)模樣本數(shù)據(jù)催生計(jì)算需求
“深度學(xué)習(xí)本質(zhì)上是基于統(tǒng)計(jì)的科學(xué)，所以大規(guī)模的樣本數(shù)據(jù)對(duì)于深度學(xué)習(xí)的效果至關(guān)重要 。 更大規(guī)模和更復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型已經(jīng)被證明非常有效，并在產(chǎn)品中有廣泛的使用，同時(shí)這也讓深度學(xué)習(xí)對(duì)計(jì)算能力有著更大要求和消耗 。 ”遠(yuǎn)望智庫(kù)AI事業(yè)部部長(zhǎng)、圖靈機(jī)器人首席戰(zhàn)略官譚茗洲表示 。
人工智能設(shè)計(jì)之初，并沒(méi)有考慮節(jié)能原則，只要有足夠的算力和電力，算法就可以一直跑下去 。
2019年6月，美國(guó)馬薩諸塞州大學(xué)阿默斯特分校的一份報(bào)告顯示，訓(xùn)練和搜索某種模型所需的電量涉及約626000磅二氧化碳排放量，這相當(dāng)于美國(guó)普通汽車(chē)使用壽命內(nèi)排放量的近5倍 。 此外，優(yōu)越的靈活性使深度學(xué)習(xí)可以很好地建立不同的模型，超越專(zhuān)家的模型，但也帶來(lái)昂貴的算力成本 。 深度學(xué)習(xí)需要的硬件負(fù)擔(dān)和計(jì)算次數(shù)，背后消耗的是巨額資金 。
一份業(yè)內(nèi)報(bào)告顯示，華盛頓大學(xué)的Grover假新聞檢測(cè)模型兩周內(nèi)培訓(xùn)費(fèi)用約為25000美元 。 另?yè)?jù)報(bào)道，著名人工智能非營(yíng)利組織OpenAI花費(fèi)高達(dá)1200萬(wàn)美元訓(xùn)練其GPT-3語(yǔ)言模型，而GPT-2語(yǔ)言模型，每小時(shí)訓(xùn)練花費(fèi)則達(dá)到256美元 。
改進(jìn)算法降低對(duì)計(jì)算平臺(tái)要求
實(shí)際上，算力一直在提高 。 OpenAI一項(xiàng)研究表明，自2012年以來(lái)，每16個(gè)月將AI模型訓(xùn)練到ImageNet（一個(gè)用于視覺(jué)對(duì)象識(shí)別軟件研究的大型可視化數(shù)據(jù)庫(kù)）圖像分類(lèi)中，相同性能模型所需的計(jì)算量就減少了一半；谷歌的Transformer架構(gòu)超越了其之前開(kāi)發(fā)的seq2架構(gòu)，計(jì)算量減少了61倍；DeepMind的AlphaZero與該系統(tǒng)的前身AlphaGoZero的改進(jìn)版本相匹配，其計(jì)算量也減少了8倍 。
有網(wǎng)友提出，現(xiàn)在的硬件算力提升有些誤區(qū)，不一定非得在單位面積上堆更多的晶體管，我們需要更好的框架來(lái)支持底層計(jì)算條件及相應(yīng)的硬件改進(jìn) 。 理想情況下，用消費(fèi)級(jí)的GPU就能運(yùn)行很多深度模型 。
“人們對(duì)深度學(xué)習(xí)的性能或結(jié)果的要求越來(lái)越高，隨之對(duì)于算力的需求也越來(lái)越大 。 要讓算力增長(zhǎng)或突破，從算法層面，首先可以?xún)?yōu)化并行計(jì)算，有效利用多機(jī)多核的計(jì)算能力，靈活滿(mǎn)足各種需求 。 同時(shí)，相對(duì)于傳統(tǒng)的基于單機(jī)編寫(xiě)的程序，如果改寫(xiě)為多機(jī)多核的并行程序，能夠充分利用其CPU和GPU（或AI芯片）的資源，將使運(yùn)行效率大幅度提升 。 ”西安電子科技大學(xué)電子工程學(xué)院教授吳家驥表示 。
除了算力，深度學(xué)習(xí)本身還可通過(guò)哪些方式改進(jìn)算法？吳家驥介紹，深度學(xué)習(xí)都是在異構(gòu)硬件上運(yùn)行，大數(shù)據(jù)進(jìn)入時(shí)，需要分流處理，從算法上來(lái)看，可以調(diào)度優(yōu)化，讓異構(gòu)架構(gòu)（CPU、GPU、AI芯片）因地制宜地調(diào)度深度學(xué)習(xí)和大數(shù)據(jù)處理業(yè)務(wù) 。

推薦閱讀