如何解决使用reduceByKey 抛出一个int object is not subscriptable error
这段代码给了我一个“int object is not subscriptable”错误，尽管它为我的一个朋友工作。错误出现在我尝试使用 reduceByKey 计算平均值的第 4 行。这是为什么？
nonNullRDD = marchRDD.filter(lambda row: row.journal).filter(lambda row: row.abstract)
abstractRDD = nonNullRDD.map(lambda field: (field.journal,field.abstract))
splitRDD = abstractRDD.map(lambda word: (word[0],len(word[1].split(" "))))
groupedRDD = splitRDD.reduceByKey(lambda x,y: (x[0]+y[0],x[1]+y[1])).mapValues(lambda x: x[0]/x[1])
解决方法
在 reduceByKey 函数中，您提供了一个 lambda 函数，该函数作用于 RDD 的值，该值是 len(word[1].split(" ")) 中的一个整数。您试图对一个整数执行 x[0]，这导致了您得到的错误。
我认为 RDD 应该采用 (key,(value,1)) 形式，这样您的代码的第四行将给出每个键的平均值。为了实现这一点，您可以将第三行中的 lambda 函数更改为：
splitRDD = abstractRDD.map(lambda word: (word[0],(len(word[1].split(" ")),1)))
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
