我想知道foreachPartition是否会产生更好的性能,因为更高的并行度,与foreach方法相比,考虑到我正在流经RDD以便对累加器变量执行一些求和的情况.
解决方法:
foreach auto在许多节点上运行循环.
但是,有时您希望在每个节点上执行某些操作.例如,建立与数据库的连接.您不能只建立连接并将其传递给foreach函数：连接仅在一个节点上进行.
因此,使用foreachPartition,您可以在运行循环之前在每个节点上建立数据库连接.
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
