- L1 和L2正则项的定义如下:
L1=∑i|wi|L2=∑i(wi)2
- 首先我们先计算一下他们对应的导数,导入如下所示:
∂L1∂wi=1or−1→wt+1i=wti+η(−1or1)∂L2∂wi=wi→wt+1i=wti+ηwi
- 所以我们看到L1每次更新的时候会更新一个定值,那么若干次迭代之后,权重就有可能减少为0。但是L2每个更新的时候更新的值的大小和
wi
的值是有关系的。当
wi
趋近与0时,那么对应的导数值也会更新,所以他会不停的接近0,但并不会是0。此外,我们还可以得到,L2相对L1更稳定一些。
- L1 产生0的权重也可以起到特征选择的作用,假设我们有
X0...Xi...Xn
n个特征,通过分配不同的权重
w0...wi...wn
,然后使用L1 来做特征选择。
- L2 可以迅速产生接近0的权值,但并不是0,所以会比较平滑。
- 此外,我们还可以从几何的角度来理解。
- 假设我们的Loss函数是
(y−wx)2
,那么我们的几何解释如下图所示:
- 其中左图表示L1,右图表示L2。绿色代表的是loss的等高线,
w1,w2
在L1中的取值空间如左图的菱形所示。在L2中的取值空间如右图的圆形所示。从等高线和取值空间的交点可以看到L1更容易倾向一个权重偏大一个权重为0。L2更容易倾向权重都较小。
- 主要参考
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。