微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

映射器和reduceByKey

如何解决映射器和reduceByKey

我正在创建布隆过滤器,需要生成一个映射器以将in_trenches变量中的每个索引映射为1,并使用reduceByKey删除索引重复项并对其进行排序。有谁知道如何正确地做每一步?这是我使用的编码。

# generate a mapper to map each indices inside in_trenches variable to 1.
 mapper = in_trenches.map(indice,1)

# Use reduceByKey to remove index duplicates (d) and sort them
 remove_duplicates = mapper.reduceByKey(lambda x,y:(x))

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。