如何解决将 Adaboost 与随机森林基分类器一起使用?
有谁知道是否可以将 Adaboost 与随机森林基分类器一起使用?我在网上搜索了更多关于这方面的信息,但大多数网页都将两者作为集成学习方法进行了比较,我没有找到关于将它们一起使用的任何信息。
(基本上有人问它here,但到目前为止唯一的答案与我的观察相矛盾,我在下面分享)
尽管如此,没有人明确表示它有什么问题,所以我在一个典型的数据集上进行了尝试,该数据集有 n 行 p 个实值特征,以及一个长度为 n 的标签列表。如果重要,它们是通过 DeepWalk 算法获得的图中节点的嵌入,并且节点被分为两类。我使用 5 折交叉验证对这些数据训练了一些分类模型,并测量了它们的常用评估指标(精度、召回率、AUC 等)。我使用的模型是 SVM、逻辑回归、随机森林、2 层感知器和带有随机森林分类器的 Adaboost。最后一个模型,带有随机森林分类器的 Adaboost,产生了最好的结果。当然,现在运行时间增加了 100 倍,但它仍然是大约 20 分钟,所以这对我来说不是限制。现在我想知道我是否应该怀疑它的良好准确性(95% 的 AUC 与多层感知器的 89% 和随机森林的 88% 相比)
这就是我的想法:首先,我正在使用交叉验证,因此可能不会出现过拟合的情况。其次,两者都是集成学习方法,但随机森林是一种装袋方法,而 Adaboost 是一种增强技术。所以它们仍然有足够的不同,使它们的组合有意义。
我错了吗?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。