微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

我如何将元组元组组合成一个元组?

如何解决我如何将元组元组组合成一个元组?

我通过链接连接加入了三个 RDD 的 spark: joined_rdds = rdd1.join(rdd2).join(rdd3)

joined_rdds.collect() 的输出是:

[(key,(([list1],[list2]),([list3]))),(key,...]

我如何将该输出转换为[(key,([list1],[list2],[list3])),([list1,] [list2],...]

解决方法

我想出了一个解决方法,但这对于更大的连接来说并不理想:

joined_rdds = rdd1.fullOuterJoin(rdd2).fullOuterJoin(rdd3)

combined_tuples= joined_rdds.map(lambda x: (x[0],(x[1][0][0],x[1][0][1],x[1][1])))

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。