微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如何在 PySpark 中有条件地加入 2 个 RDD

如何解决如何在 PySpark 中有条件地加入 2 个 RDD

RDD1 的格式为:

[
(('1234','word1'),1),(('1234','word2'),4),(('9876','word3'),3),2),]

RDD2 的格式:

[
('word1',100)
('word2',200)
('word3',300)
]

我想按照以下格式创建一个RDD

[
(('1234',1,100),4,200),3,300),2,]

我已经尝试了以下

RDD1 = RDD1.map(lambda x: (x[0][0],x[0][1],x[1]))
RDD3 = RDD1.join(RDD2)

我得到了空列表。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。