對數(shù)據(jù)集訓(xùn)練時 ， 只對訓(xùn)練集進行訓(xùn)練還是都訓(xùn)練？
【驗證集劃分比例,訓(xùn)練集】
當(dāng)然是對訓(xùn)練集進行訓(xùn)練 。當(dāng)你把在訓(xùn)練集上訓(xùn)練好的模型調(diào)參完畢時 ， 再拿到測試集上進行測試 ， 看看是否出現(xiàn)過擬合或者欠擬合的情況 ， 如果出現(xiàn) ， 再回頭調(diào)整 。訓(xùn)練集這個是最好理解的 ， 用來訓(xùn)練模型內(nèi)參數(shù)的數(shù)據(jù)集 ， Classfier直接根據(jù)訓(xùn)練集來調(diào)整自身獲得更好的分類效果驗證集用于在訓(xùn)練過程中檢驗?zāi)Ｐ偷臓顟B(tài) ， 收斂情況 。
驗證集通常用于調(diào)整超參數(shù) ， 根據(jù)幾組模型驗證集上的表現(xiàn)決定哪組超參數(shù)擁有最好的性能 。同時驗證集在訓(xùn)練過程中還可以用來監(jiān)控模型是否發(fā)生過擬合 ， 一般來說驗證集表現(xiàn)穩(wěn)定后 ， 若繼續(xù)訓(xùn)練 ， 訓(xùn)練集表現(xiàn)還會繼續(xù)上升 ， 但是驗證集會出現(xiàn)不升反降的情況 ， 這樣一般就發(fā)生了過擬合 。所以驗證集也用來判斷何時停止訓(xùn)練測試集測試集用來評價模型泛化能力 ， 即之前模型使用驗證集確定了超參數(shù) ， 使用訓(xùn)練集調(diào)整了參數(shù) ， 最后使用一個從沒有見過的數(shù)據(jù)集來判斷這個模型是否Work 。
三者區(qū)別形象上來說訓(xùn)練集就像是學(xué)生的課本 ， 學(xué)生 根據(jù)課本里的內(nèi)容來掌握知識 ， 驗證集就像是作業(yè) ， 通過作業(yè)可以知道 不同學(xué)生學(xué)習(xí)情況、進步的速度快慢 ， 而最終的測試集就像是考試 ， 考的題是平常都沒有見過 ， 考察學(xué)生舉一反三的能力 。為什么要測試集訓(xùn)練集直接參與了模型調(diào)慘的過程 ， 顯然不能用來反映模型真實的能力 ， 這樣一些 對課本死記硬背的學(xué)生(過擬合)將會擁有最好的成績 ， 顯然不對 。
推薦閱讀
- 火影忍者omline怎么突破,全球唯一正版《火影忍者》網(wǎng)游玩家聚集地
- 積極推進市國資委財務(wù)集中核算對接工作,如何推進財務(wù)集中核算
- 2點幾成寶石是什么意思,金腰帶集齊8顆寶石
- 屋里比比東出現(xiàn)在第幾集
- 集寧六米八二手貨車，集寧二手貨車交易市場86米重皮自卸車
- ui國外設(shè)計視頻教程全集,國外ui設(shè)計教程
- 在官方商城以舊換新頁面，為什么沒有驗證碼？
- 二手集裝箱自車，哪個地方二手集裝箱車多
- 國家扶貧開發(fā)重點縣，832個國家級扶貧開發(fā)工作重點縣及集中連片特殊困難縣的參考
- 貪玩藍月戰(zhàn)士怎么打烈火,《貪玩藍月》玩家集體迎接這疫戰(zhàn)