如何解决RDD API Python 如何进行计数
1,1_id,lucas,10
2,2_is,pierre,30
2,3_id,20
我想要这样的结果:
[(lucas,30),(pierre,30)]
我只需要使用 RDD 方式。
你有什么想法吗?
非常感谢
解决方法
这很容易。
# get last two elements
def f(s):
s_list = s.split(',')
return (s_list[2],int(s_list[3]))
r = sc.textFile('YOUR_FILE').\
map(lambda line:f(line)).\
reduceByKey(lambda x,y: x + y)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。