如何解决PySpark - 读取检查点数据帧
我目前正在使用 pyspark 为机器学习应用程序执行一些数据清理。 最后一个会话崩溃了，但我设置了一个 checkpointdir 并检查了我的 DataFrame。
现在我有以下形式的检查点数据目录：
id-of-checkpoint-dir/
\\- rdd-123/
\\- rdd-456/
如何读取此检查点，以便继续我的数据准备工作，而不是再次运行整个过程？
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
