Apache pyspark 删除停用词并计算

我有以下 .csv 文件（ID、书名、书名、作者等）：

在删除停用词后，我想从文章的标题（第 2 列）（n=4）计算所有 n 组合（从每个标题我想要所有 4 个词的组合）。

我已经创建了数据框：

df_hdfs = sc.read.option('delimiter',',').option('header','true')\.csv("/user/articles.csv")

我创建了一个带有标题列的 rdd：

rdd = df_hdfs.rdd.map(lambda x: (x[1]))

看起来像这样：

现在，我意识到我必须将 RDD 的每个字符串标记为单词，然后删除停用词。我需要一些关于如何执行此操作以及如何计算组合的帮助。

谢谢。