如何解决如何知道执行pysaprk代码需要多长时间
是否有办法知道代码需要花费多少时间?或近似值
我在想类似您在Windows中处理文件时说的剩余时间,或者例如当您下载某些内容时它告诉您大约需要多少时间
有没有办法针对火花代码执行此操作?从查询等非常简单的代码到更复杂的代码
谢谢
解决方法
Spark本身已考虑实施此方法,但由于在预测散兵的完成时间方面存在不确定性,因此决定不这样做。请参见本期https://issues.apache.org/jira/browse/SPARK-5216
中的讨论因此您将不会从spark获得该信息。相反,您必须实现自己的估算模型。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。