如何解决根据 pyspark RDD 检查列表中的项目
我有以下带有 ID 及其计数的 pyspark RDD：
rdd = [('12',560),('34',900),('56',800),('78',100),('910',220),('125',410),('111',41),etc.]
id_list = ['12','125','78']
我想要一个新的键值对列表，其中包含来自 id_list 的 'id' 和来自 rdd 的 'counts'。
预期的输出：
new_list = [('12',100)]
如果 rdd 是一个 python 字典，我可以遍历 id_list，检查它是否在字典中并返回一个带有键和计数的新列表。但是我不知道如何使用 RDD 来做到这一点。请指教。
我可能会尝试将 RDD 转换为字典，但这会破坏使用 spark 的目的。
解决方法
您可以使用 lambda 函数过滤 RDD，该函数检查键是否在 id_list 中：
rdd2 = rdd.filter(lambda x: x[0] in id_list)
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
