Pyspark地图功能仅打印第一个鱼子

如何解决Pyspark地图功能仅打印第一个鱼子

df.rdd.map(printudf(row)) 只打印第一行

定义printudf（行）： 打印（行）

Df.rdd.foreach(printudf(row)) :> 在第一行打印后出现阶段失败

解决方法

如果您只想打印，您应该使用 foreach 而不是 map

def printudf(row):
    print(row)


output_df.rdd.foreach(printudf)

如果您对每一行应用一些修改/转换并返回一个新行，请使用 map。