微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

您如何通过RDD操作计算两个过滤器?

如何解决您如何通过RDD操作计算两个过滤器?

我有两个RDD,一个看起来像这样:

increase
rose
die
bear
contracted
own
eyes
lights
making

然后我算第一个RDD:

(float,2)
(agree,20)
(healing,2)
(shot,45)
(guide,24)
(opening,11)
(urging,9)
(practises,1)
(surge,9)
(maintained,2)

我还有另一个RDD,它是不同形式的动词的字典,像这样

abash,abash,abashed,abashes,abashing
abate,abate,abated,abates,abating
abide,abide,abode,abides,abiding
absorb,absorb,absorbed,absorbs,absorbing
accept,accept,accepted,accepts,accepting
accompany,accompany,accompanied,accompanies,accompanying
ache,ache,ached,aches,aching
achieve,achieve,achieved,achieves,achieving

现在,我需要计算第一个RDD中的单词,并根据第二个RDD合并属于同一单词但具有不同形式的单词。例如。 (工作100),(工作50),(工作150)->(工作300) 我尝试对第一个RDD进行计数,然后找出第一个RDD中的哪些元素属于第二个RDD中的哪个元素并进行计数,但是这部分不知道如何通过RDD操作来做到这一点

解决方法

这是家庭作业还是其他东西。 here提出并回答了相同的问题(针对相同的任务)。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。