微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

《机器学习Python实现_10_09_集成学习_bagging_stacking原理及实现》

介绍

前面对模型的组合主要用了两种方式:

(1)一种是平均/投票;

(2)另外一种是加权平均/投票;

所以,我们有时就会陷入纠结,是平均的好,还是加权的好,那如果是加权,权重又该如何分配的好?如果我们在这些模型预测的结果上再训练一个模型对结果做预测,那么岂不是就免除了这些烦恼;而训练后,也可以方便的获取这些基分类器的权重(等价于下一层级模型的特征权重),且结果也更为客观!简单流程如下:

png

当然实际训练时回更加细致和复杂,比如:

(1)通常会对数据做\(k\)折切分,切分为\(k\)份,然后将每个基学习器扩展为\(k\)个基学习器,每个学习器学习\(k-1\)份训练数据;

(2)对分类器,预测结果通常会取概率分布,这样可以提取更多的信息;

(3)上面的结构还可以无限叠加,构建更加复杂的stacking结构,比如对新的拼接特征又训练几组基分类器,然后再组合...

stacking的代码实现,跳转>>>

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐