微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

xgboost 的 alpha、lambda 和 gamma 正则化参数有什么区别?

如何解决xgboost 的 alpha、lambda 和 gamma 正则化参数有什么区别?

我有一个问题要问:

xgboost 算法中权重的 L1 和 L2 正则化项究竟有何不同。

据我所知,LASSO 使用 L1,RIDGE 回归使用 L2,L1 可以缩小到 0,L2 不能。我了解使用简单线性回归时的机制,但我不知道它在基于树的模型中是如何工作的。

此外,gamma 是另一个参数,它使模型更加保守。我应该如何注意 L1/L2 和 gamma 参数之间的差异。

我在文档中发现这个问题很少:

lambda [认=1,别名:reg_lambda]

  • 关于权重的 L2 正则化项。增加这个值将使 模型更保守。

alpha [认=0,别名:reg_alpha]

  • 关于权重的 L1 正则化项。增加这个值将使 模型更保守。

gamma [认=0,别名:min_split_loss]

  • 在叶子上进行进一步分区所需的最小损失减少 树的节点。伽马越大,越保守 算法将是。

所有的范围从 0 到 inf。

预先感谢您的任何回答/评论

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。