如何解决在进行留一法交叉验证和超参数调整时，我应该在 Spark RDD 中设置多少个分区？
对于 Xy 回归问题，我有 100 条记录，其中 X 是输入，y 是目标变量。我正在进行留一法 LOO 交叉验证，因此将进行 100 轮训练测试。
在每个训练测试轮中，我使用来自 scikit-learn 的 gridsearchcv，并且根据我想要调整的超参数组合，每个网格搜索（或每个训练测试轮）可以产生数百万次运行。我的回归量是标准的东西，比如 LinearRegression 或 RandomForestRegressor。许多回归器或估计器，包括 gridsearchcv，都有这个 n_jobs 参数，并且由于我想最大化我的集群利用率，我在适当的地方设置了 n_jobs=-1。
我的 Spark 集群有 1 个驱动程序和 10 台计算机，集群中共有 11 个节点。所有这些节点都使用 Standard_E64s_v3 在 Azure 中。每个都有 64 个 vcpu，内存为 432 GiB。分区数为 640 (10 x 64)。当我发出 rdd.glom().collect() 时，我得到了一个非常稀疏的分布。
我的问题是，关于算法和网格搜索实例的 n_jobs=-1 设置，我是否应该将 RDD 重新分区为 10 以匹配 10 个工作节点以最大化利用率？如果我这样做，我推测 10 个工作节点每个将有 10 个折叠，这将是集群的最佳使用，因为在每个工作节点上，永远只能有 1 个折叠（训练测试）使用 { {1}}。
如果我将其保留为默认值，缺点是工作不会均匀地分布在 10 个工作节点上，因为某些空分区可能在某些工作节点上更为普遍。出于同样的原因，当属于同一工作节点的分区时，训练-测试折叠可能会争夺资源。
关于如何最好地优化或微调这个问题的任何想法？
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。