如何解决Spark:rdd.count() 和 rdd.write() 执行两次转换
我使用 Apache Spark 从数据库中获取记录,经过一些转换后,将它们写入 AWS S3。现在我还想计算我写给 S3 的记录数,为此我正在做
rdd.count() and then
rdd.write()
通过这种方式,所有转换都执行了两次并出现了性能问题。 有什么办法可以在转换执行不再执行的情况下实现吗?
解决方法
两个动作 - 计数和写入意味着 2 组读取。
假设如下:
val rdd = sc.parallelize(collectedData,4)
然后通过添加 .cache
:
val rdd = sc.parallelize(collectedData,4).cache
这通常会避免第二组重读,但并非总是如此。您还可以查看 persist
和级别。当然,缓存也有开销,这取决于所使用的大小。
Spark UI 上的 DAG 可视化将显示绿色段或点,表示已应用缓存。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。