Dropout是一种常用的正则化方法,用于减少神经网络的过拟合现象。它的基本思想是在训练神经网络的过程中,随机地将一部分神经元的输出值置为0,从而使得神经网络的结构变得不稳定,从而强制网络学习到更加加鲁棒的特征表示。
具体来说,Dropout在训练过程中,对于每个神经元以一定的的概率进行保留或者丢弃。这样可以减少特征检测器(隐层节点)间的相互作用,阻止了某些特征仅仅在其它特定特征下才有效果的情况。这样可以迫使网络去学习更加加鲁棒的特征,在其它的神经元的随机子集中也存在。
Dropout可以作为训练深度神经网络的一种trick供选择。在每个训练批次中,通过忽略一半的特征检测器(让一半的隐层节点值为0),可以明显地减少过拟合现象。这种方式可以减少特征检测器(隐层节点)间的相互作用,检测器相互作用是指某些检测器依赖其他检测器才能发挥作用。
