如何解决如何在jupyter中不仅显示最后结果还显示完整输出-适用于AWS Emr pyspark
我希望有一个与该问题相同的选项:How to display full output in Jupyter,not only last result?,但适用于AWS EMR的jupyterhub的pyspark内核(Spark 2.4.4)。它适用于python3(python3.6)内核。
如果我使用打印语句,它会起作用,但是在这种情况下,如果最后一步失败,它将不起作用,那么它将仅显示失败步骤的结果,如下图所示。
另外,需要注意的是,不确定是否相关,但是下面的代码不会同步运行,即打印等待打印等待...。但是,它只会在最后一次打印所有内容。
import time
for i in range(0,10):
print(i)
time.sleep(2)
如果引用的问题/帖子被删除或更改,只需添加引用的帖子中的问题。
我希望Jupyter在不求助于打印的情况下打印所有交互式输出,而不仅仅是最后的结果。怎么做?
示例:
a=3
a
a+1
我想展示
3
4
解决方法
打印语句的输出将转到运行spark执行程序的计算机上的stdout
或stderr
。
考虑到您有一个具有n个工作程序的大型集群(每个存储分区都是RDD或DataFrame)。很难期望作业中的排序输出(例如,映射)。对于火花本身,这也可以被认为是设计选择。该数据将在哪里打印?由于节点并行运行代码,因此将首先打印其中的哪个?
因此,我们在作业中没有交互式打印语句。整件事也可以使您想起为什么我们有accumulators
和broadcast
变量。
因此,我建议您使用分步生成的日志来处理日志。要查看Amazon S3中的日志,必须启用集群日志记录(这是新集群的默认设置)。查看Log Files Archived to Amazon S3。
对于有关sleep()
和print
的第二个问题,python是行缓冲的,这迫使它等待换行,然后再打印到stdout
。如果输出不是控制台,那么即使换行也不会触发刷新。
您可以将行为强制为
import time
for i in range(0,10):
print(i,flush=True)
time.sleep(2)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。