如何解决从pyspark中的列表列表中生成多个列表
我有一些具有以下架构的记录：
(key,[[value1,value2],[value3,value4]])
我想做的是为这些记录中的每一个发出：
(key,[value1,value2])
(key,value4])
在 Pyspark 中使用 RDD API。
对于输入和输出之间的一对多关系，我想我可以使用 flatMap 但我不确定如何在这种情况下应用它。有什么想法吗？
解决方法
您可以使用flatMapValues：
rdd2 = rdd.flatMapValues(lambda x: x)
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
