一、dropout目的

Dropout是在《ImageNet Classification with Deep Convolutional》這篇論文里提出來(lái)為了防止神經(jīng)網(wǎng)絡(luò)的過(guò)擬合。它的主要思想是讓隱藏層的節(jié)點(diǎn)在每次迭代時(shí)(包括正向和反向傳播)有一定幾率(keep-prob)失效。這樣來(lái)預(yù)防過(guò)擬合。它主要避免對(duì)某個(gè)節(jié)點(diǎn)的強(qiáng)依賴，讓反向傳播的修正值可以更加平衡的分布到各個(gè)參數(shù)上。還有如果一些節(jié)點(diǎn)失效，實(shí)際上也和我們減少網(wǎng)絡(luò)復(fù)雜度是一樣的道理。所以可以防止過(guò)擬合。

二、dropout方法

（1）訓(xùn)練階段

Dropout是在標(biāo)準(zhǔn)的bp網(wǎng)絡(luò)的的結(jié)構(gòu)上，使bp網(wǎng)的隱層激活值，以一定的比例v變?yōu)?，即按照一定比例v，隨機(jī)地讓一部分隱層節(jié)點(diǎn)失效；在后面benchmark實(shí)驗(yàn)測(cè)試時(shí)，部分實(shí)驗(yàn)讓隱層節(jié)點(diǎn)失效的基礎(chǔ)上，使輸入數(shù)據(jù)也以一定比例（試驗(yàn)用20%）是部分輸入數(shù)據(jù)失效（這個(gè)有點(diǎn)像denoising autoencoder），這樣得到了更好的結(jié)果。

去掉權(quán)值懲罰項(xiàng)，取而代之的是，限制權(quán)值的范圍，給每個(gè)權(quán)值設(shè)置一個(gè)上限范圍；如果在訓(xùn)練跟新的過(guò)程中，權(quán)值超過(guò)了這個(gè)上限，則把權(quán)值設(shè)置為這個(gè)上限的值（這個(gè)上限值得設(shè)定作者并沒(méi)有說(shuō)設(shè)置多少最好，后面的試驗(yàn)中作者說(shuō)這個(gè)上限設(shè)置為15時(shí)，最好；為啥？估計(jì)是交叉驗(yàn)證得出的實(shí)驗(yàn)結(jié)論）。

此外，還可以使算法使用一個(gè)比較大的學(xué)習(xí)率，來(lái)加快學(xué)習(xí)速度，從而使算法在一個(gè)更廣闊的權(quán)值空間中搜索更好的權(quán)值，而不用擔(dān)心權(quán)值過(guò)大。

（2）測(cè)試階段

Dropout只發(fā)生在模型的訓(xùn)練階段，預(yù)測(cè)、測(cè)試階段則不用Dropout

三、關(guān)于dropout需要知道的

直觀認(rèn)識(shí)：Dropout隨機(jī)刪除神經(jīng)元后，網(wǎng)絡(luò)變得更小，訓(xùn)練階段也會(huì)提速

事實(shí)證明，dropout已經(jīng)被正式地作為一種正則化的替代形式

有了dropout，網(wǎng)絡(luò)不會(huì)為任何一個(gè)特征加上很高的權(quán)重（因?yàn)槟莻€(gè)特征的輸入神經(jīng)元有可能被隨機(jī)刪除），最終dropout產(chǎn)生了收縮權(quán)重平方范數(shù)的效果

Dropout的功能類似于L2正則化，但Dropout更適用于不同的輸入范圍

如果你擔(dān)心某些層比其它層更容易過(guò)擬合，可以把這些層的keep-prob值設(shè)置的比其它層更低

Dropout主要用在計(jì)算機(jī)視覺(jué)領(lǐng)域，因?yàn)檫@個(gè)領(lǐng)域我們通常沒(méi)有足夠的數(shù)據(jù)，容易過(guò)擬合。但在其它領(lǐng)域用的比較少

Dropout的一大缺點(diǎn)就是代價(jià)函數(shù)不再被明確定義，所以在訓(xùn)練過(guò)程中，代價(jià)函數(shù)的值并不是單調(diào)遞減的

使用時(shí)，先關(guān)閉Dropout，設(shè)置keep-prob為1，使代價(jià)函數(shù)的值單調(diào)遞減，然后再打開(kāi)Dropout