如何解决Group_by_key 在 Pyspark 中按顺序排列
rrr = sc.parallelize([1,2,3])
fff = sc.parallelize([5,6,7,8])
test = rrr.cartesian(fff)
这是test：
[(1,5),(1,6),7),8),(2,(3,8)]
调用groupByKey后有没有办法保留顺序：
test.groupByKey().mapValues(list).take(2)
输出是这个列表是随机顺序的：
Out[255]: [(1,[8,5,7]),[5,8,[6,5])]
所需的输出是：
[(1,8]),8])]
如何实现这一目标？
解决方法
您可以再添加一个 mapValues 以对列表进行排序：
result = test.groupByKey().mapValues(list).mapValues(sorted)
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
