从贝叶斯角度,正则项等价于引入参数
贝叶斯方法的参数估计
贝叶斯方法的参数估计,就是通过最大化后验概率来估计模型的参数。
假定模型参数为
后验概率的展开形式
假定如下:
- 样本独立不相关
- 模型参数独立不相关
最新的优化问题为:
参数的先验概率与正则项
当参数
优化问题的左项中,如果
这时候的优化函数为:
同样地,参数
这说明:
- L2正则,等价于参数
w 的先验分布满足均值为0的正态分布 - L1正则,等价于参数
w 的先验分布满足均值为0的拉普拉斯分布 - 拉普拉斯在0附近突出,周围稀疏,对应容易产生稀疏解的模型
模型举例
以参数
逻辑回归
所以有:
总结:逻辑回归,通过贝叶斯法最大化后验概率。在数据的概率满足逻辑函数的假设下得到了cross entropy的误差函数;在样本独立、模型参数独立、模型参数满足均值为0的高斯分布的假设下获得了L2正则项。
线性回归
线性回归,假设误差满足均值为0的高斯分布,该假设符合一般的规律。
所以有:
总结:线性回归,通过贝叶斯法最大化后验概率。在误差为均值0的高斯分布的假设下得到了square error的误差函数;在样本独立、模型参数独立、模型参数满足均值为0的高斯分布的假设下获得了L2正则项。
原文地址:https://www.jb51.cc/regex/358520.html
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。