nas|自動機器學習里的神經架構搜索（NAS）技術是什么？機器學習

文章圖片

文章圖片

神經架構搜索有望加快尋找神經網絡架構的過程，從而為給定的數據集產生良好的模型。神經架構搜索是為給定數據集自動找到一個或多個架構的任務，這些架構將為給定的數據集生成具有良好結果（低損失）的模型。神經架構搜索目前是一個新興領域。正在進行大量研究，有許多不同的方法來完成這項任務，而且通常沒有單一的最佳方法——甚至沒有單一的最佳方法來解決圖像中的對象識別等特殊類型的問題。
神經架構搜索是AutoML的一個方面，以及特征工程、遷移學習和超參數優化。這可能是目前正在積極研究的最難的機器學習問題；
甚至神經架構搜索方法的評估也很困難。神經架構搜索研究也可能既昂貴又耗時。
或者說，相當的耗費計算資源，計算資源就是錢呀。
【nas|自動機器學習里的神經架構搜索（NAS）技術是什么？】改進神經架構搜索的動機是相當明顯的。神經網絡模型的大多數進步，例如圖像分類和語言翻譯，都需要對神經網絡架構進行大量手動調整，這既費時又容易出錯。即使與公共云上高端 GPU 的成本相比，數據科學家的人力成本也非常高。
正如多位作者（例如Lindauer 和 Hutter、Yang 等人以及Li 和 Talwalkar）所觀察到的，由于多種原因，許多神經架構搜索 (NAS) 研究都是不可重復的。此外，許多神經架構搜索算法要么無法勝過隨機搜索（應用了提前終止標準），要么從未與有用的基線進行比較。
楊等人。表明許多神經架構搜索技術難以顯著擊敗隨機抽樣的平均架構基線。（他們稱他們的論文為“NAS 評估非常困難。 ”）他們還提供了一個存儲庫，其中包括用于評估多個不同數據集上的神經架構搜索方法的代碼以及用于增強具有不同協議的架構的代碼。
Lindauer 和 Hutter根據他們的文章提出了一個NAS 最佳實踐清單。
發布代碼的最佳實踐對于您報告的所有實驗，檢查您是否發布了：

·用于評估最終架構的訓練工作流程
搜索空間代碼
用于最終評估工作流的超參數以及隨機種子
NAS 方法的代碼
NAS 方法的超參數，以及隨機種子

埃爾斯肯等人（Elsken et al.2018）對神經架構搜索方法進行了調查，并根據搜索空間、搜索策略和性能估計策略對它們進行了分類。搜索空間可以用于整個架構，逐層（(macro search），或者可以限制為組裝預定義的單元（cell search ）。
神經架構的搜索策略包括隨機搜索、貝葉斯優化、進化方法、強化學習和基于梯度的方法。所有這些方法都有成功的跡象，但沒有一個真正脫穎而出。
估計神經網絡性能的最簡單方法是根據數據訓練和驗證網絡。不幸的是，這可能導致神經架構搜索需要很大計算量。減少計算的方法包括降低保真度估計（更少的訓練時期、更少的數據和縮小的模型）；學習曲線外推；熱啟動訓練；和權重共享的 one-shot 模型（子圖使用 one-shot 模型的權重）。所有這些方法都可以將訓練時間減少。
然而，這些近似值引入的偏差尚未得到很好的理解。
微軟的 Petridish 項目微軟研究院聲稱已經開發出一種新的神經架構搜索方法，該方法將快捷連接添加到現有網絡層并使用權重共享。添加的快捷連接有效地在增強層上執行梯度提升。他們稱這個項目為 Petridish 。