如何解决在R中执行并行函数调用
当前,我正在R中使用foreach循环在同一台计算机的多个内核上运行并行函数调用,并且代码如下所示:
result=foreach(i=1:length(list_of_dataframes))
{
temp=some_function(list_of_dataframes[[i]])
return(temp)
}
在此 list_of_dataframes 列表中,每个数据框都是针对一种产品的,并且具有不同的列数, some_function 是一种对每个数据框执行建模任务的函数。此函数内部有多个函数调用,一些函数进行数据整理,另一些函数执行某种变量选择,依此类推。 结果是一个列表列表,每个子列表都是3个数据帧的列表。目前,我几乎没有500种产品,而我正在使用具有12个内核的32GB机器来执行此任务使用doparallel和foreach进行并行。 我的第一个问题是-例如,当我有500000产品时,该如何扩大规模?哪个框架最适合? 我的第二个问题-我可以使用sparkR吗? Spark是否打算执行此类任务? sparkR.lapply()会很好用吗?我已经读过它应该作为不得已的方法。
我对所有这些并行的东西都是新手,任何帮助或建议都将大有帮助。在此先感谢
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。