微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

何时更新驱动程序资源

如何解决何时更新驱动程序资源

全部,

由于驱动程序不持有任何数据或处理任何数据,在什么情况下会分配给spark.driver.memory的认资源spark.driver.cores 需要更新为更高的值。

有人可以通过一些我可以阅读的链接为我指出正确的方向吗?

谢谢,
格雷吉

解决方法

TLDR 答案

spark.driver.memory :当您将数据带给驱动程序时。更具体地说,例如收集广播操作

spark.driver.cores :毕竟 - 驱动程序进程是 Scala/Java/Python 进程。如果你想做一些多线程(比如后台进程),那么你可以为内核使用更高的值。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。