如何才能直观解释正则化减少过拟合的原理?
(1)过拟合
以下图为例。High Bias(高偏差)就是欠拟合,High Variance(高方差)就是过拟合。
为了将过拟合的模型变为正好(Just Right),从图中直观上来看,只需要减小高次项的权重。
这就是降低过拟合的直观理解。从数学上,我们用正则化
来降低模型的过拟合程度。
(2)正则化
简单来说,所谓正则化,就是在原Cost Fucntion上添加正则化项
(如下图)。
正则化项
能减少模型的非线性程度,从而降低模型的过拟合。从图中来看,正则化项
能将过拟合的模型(蓝色)变为Just Right的模型(粉红色)。
(3)为什么正则化有效?
分情况讨论
- A. 对于线性模型,其添加了
正则化项
的Cost Function如下图。
直观的理解,如果我们的正则化系数(lambda)无穷大,则权重w就会趋近于0。权重变小,非线性程度自然就降低了。
- B. 对于神经网络,其激活函数(以tanh为例)如下图
直观的理解,如果我们的正则化系数(lambda)无穷大,则权重w就会趋近于0。权重变小,激活函数输出z变小。z变小,就到了激活函数的线性区域
,从而降低了模型的非线性化程度。
参考
Andrew NG的视频
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。