如何解决删除带有条件的 RDD 值
[ (Person 1,[Cat,Dog,Cow]),(Person 2,[Cat]),(Person 3,[Cow,Chicken])]
freq_animals=[Cat,Dog]
我想在我的 RDD 中删除不在频繁动物列表中的每个人的值，即输出将是：
[ (Person 1,Dog]),[])]
知道如何更改我的 RDD 吗？ 谢谢！
解决方法
您可以使用列表推导式执行 mapValues：
rdd = sc.parallelize([("Person 1",["Cat","Dog","Cow"]),("Person 2",["Cat"]),("Person 3",["Cow","Chicken"])])
freq_animals = ["Cat","Dog"]
rdd2 = rdd.mapValues(lambda v: [i for i in v if i in freq_animals])
print(rdd2.collect())
# [('Person 1',['Cat','Dog']),('Person 2',['Cat']),('Person 3',[])]
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
