深度学习正则化

@[toc]

参数范数惩罚

作为约束的范数惩罚

正则化和欠约束问题

数据集增强

1.创建一些假数据添加到训练集中

噪声鲁棒性

1.在模型的输入加上方差极小的噪声等价于对权重施加范数惩罚(方差控制过拟合)
2.正则化模型噪声使用方式是将其加到权重(主要用于RNN上)

半监督学习算法

多任务学习

提前终止

MedianStop是一种基于数学统计的前向提前停止算法,实现简单,适用范围广泛,支持最大优化或最小优化指标的场景。
基本原理是以历史任务在各step的中位数为阈值(根据用户不同的设置,step的单位可以是epoch、iteration、运行时间等),若当前任务的表现低于当前step的阈值,则认为该任务产生最优结果的可能性较低,应该提前终止任务训练。
该算法原理简单明了,但是在实际使用中为了使得评估结果更加可信,减少误判,评估启动时机显得尤为重要。
一般在具备一定数量的历史样本结果后,结合训练任务的总Step数,决定何时启动评估。 MedianStop是一种前向评估算法,依据历史结果来评判当前任务的表现。接下来要介绍一种更加复杂的后向提前停止评估算法。

参考

AutoML之超参数优化及提前停止算法