如何解决删除 RDD 中的停用词，Pyspark
我有一个包含从文本文件中读取的文本的 RDD。我想删除文本文件中的所有停用词。有一个 pyspark.ml.feature.StopWordsRemover 它在 Dataframe 上执行相同的功能，但我想在 RDD 上执行此操作。有办法吗？
步骤：
txt = sc.textFile('/Path')
txt.collect()
输出：
["23890098\tShlykov,a hard-working taxi driver and Lyosha"]
我想删除 txt RDD 中存在的所有停用词。 所需的输出：
["23890098\tShlykov,hard-working taxi driver Lyosha"]
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
