对于正则化,个人很不明白其具体的含义,直到今天,我突然对正则化有了一些顿悟,用来跟大家分享。
说到正则化,我们先弄明白几个概念:1.欠拟合 2.合适拟合 3.过拟合
从字面意义上说,大家对这3个概念都不陌生,具体说一下过拟合,如果我们有非常多的特征,那么通过学习得到的拟合方程有可能对训练集拟合的非常好
而正则化,就是针对过拟合的问题提出来的,想要解决过拟合的问题有2种方法,1是降低特征的数量,此方法看似简单,其实不然,想减少特征又要把那些对结果影响大的特征保留不是一件容易的事,第二种方法就是我们今天的主题,正则化。
正则化的思路与降低维数的思路是一样的,不同在于他并没有降低特征的数量,而是减少了特征的维数。正则化的好处是当特征很多时,每一个特征都会对预测y贡献一份合适的力量。
如上图所示,左边是一个合适的拟合,而右边则是一个过拟合,直观来看我们需要做的就是将
的影响消除,简单的做法就是将原有的成本函数加上2个很大的惩罚项,使后两项的参数约为0。
上式就是一个正则化的成本函数,其中拉马达,我们的目标就是最小化上式。
这就是正则化的基本含义。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。