如何解决在 tidymodel 上使用 DoParallel 调整模型时如何使用更多可用内核
我正在 tidymodels 中使用 ranger 调整一些随机森林模型。我有一个相当大的数据集,有很多列。因此,我使用来自 Danny Foster's article: R on Digital Ocean 的指令设置了一个数字海洋液滴用于调整/训练。我用来训练模型的系统在英特尔硬件上运行,具有 32 个内核和 64GB 内存。
我在调优之前使用以下命令实现并行处理:
doParallel::registerDoParallel(cores=28)
set.seed(345)
tune_res <- tune_grid(
tune_wf,resamples = figs_folds,grid = 10
)
当我使用 htop 命令查看系统上的处理时,我发现 32 个内核中有 17 到 18 个一直在使用。这个数字似乎与 DoParallel 文档一致,该文档指出,如果未指定内核,则会使用 50% 的内核。我认为 2 个核心用于其他任务,而我的模型使用的是 16 个。
因此,我指定要使用的内核数的方式似乎有问题。
doParallel::registerDoParallel(cores=28)
编辑更新: 当我从调整随机森林模型切换到训练逻辑回归时。所有内核和更多可用内存都得到了利用。这是逻辑回归模型训练的 htop 图像:
如您所见,所有内核都已使用,大约有 46 GB 的 RAM。这是否表明不同的模型可以以不同的方式利用内核。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。