如何解决如何在pyspark中按列对数据帧进行分区以进行进一步处理?
我需要按列对数据框进行分区。我知道可以保存在单独的文件中。但是我需要分区做进一步的处理(我需要按照一定的顺序对分区进行排序,并对有序的分区应用udf)。
我的代码是:
df = spark.createDataFrame([(2,),(1,(2,)],("name",)) \
.repartitionByRange(2,"name") \
.rdd.glom().collect()
print(df)
# [[Row(name=2),Row(name=1),Row(name=2),Row(name=2)],[]]
我需要得到这样的东西:
[[(2,[(1,)]]
解决方法
您可以使用 repartition
代替 repartitionByRange
:
df = spark.createDataFrame([(2,),(1,(2,)],("name",)) \
.repartition(2,"name") \
.rdd.glom().collect()
print(df)
# [[Row(name=2),Row(name=2),Row(name=2)],[Row(name=1),Row(name=1)]]
repartitionByRange
使用抽样来估计范围,并且可能会导致您观察到的错误。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。