如何解决为什么 Spark 中的“收集”操作会触发对驱动程序的数据收集？
当我们在 spark 中使用 show 或 take 或 write 动作时，所有数据都会发送给驱动程序吗？如果不是，那为什么当我们使用 collect 时，所有数据都转到驱动程序？
解决方法
show 和 take 获取您请求的数据量（例如 20 行）到驱动程序，而 collect 获取整体中的数据数据帧，跨所有分区，到驱动程序。 write 会将整个数据帧输出到文件位置，但通常以分区方式完成，这意味着每个执行器都可以将其分区中包含的数据直接写入文件系统。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
