如何解决如何在 Normalizer (spark nlp) 中使用多个清理模式？
我正在使用 pyspark 数据框。我需要执行 tf-idf，为此我使用了使用 spark NLP 进行标记化、标准化等的先前步骤。
在应用分词器后，我的 df 看起来像这样：
df.select('tokenizer').show(5,truncate = 130)
+----------------------------------------------------------------------------------------------------------------------------------+
| tokenized |
+----------------------------------------------------------------------------------------------------------------------------------+
|[content,type,multipart,alternative,boundary,nextpart,da,df,content,text,plain,charset,asci...|
|[receive,ameurht,eop,eur,prod,protection,outlook,com,cyprmb,namprd,https,via,cyprca,pr...|
|[plus,every,photographer,need,mm,lens,digital,photography,school,email,newsletter,http,click,aweber,ct,l,m...|
|[content,beb,as...|
|[original,message,customer,service,mailto,ilpjmwofnst,qssadxnvrvc,narrig,stepmotherr,eviews,send,thursday,dece...|
+----------------------------------------------------------------------------------------------------------------------------------+
only showing top 5 rows
下一步是应用规范化器：
我想设置多个清理模式：
1) remove all numerics and numerics from words
-> example: [jhghgb56,5897t95,fhgbg4,7474,hfgbgb]
-> expected output: [jhghgb,fhgbg,hfgbgb]
2) remove all words less than 4
-> example: [gfh,ehfufibf,hi,jdfh]
-> expected output: [ehfufibf,jdfh]
我试过了：
tokenizer = Tokenizer()\
.setInputCols(['document'])\
.setoutputCol('tokenized')\
.setMinLength(3)
cleanup = ["[^A-Za-z]"]
normalizer = normalizer()\
.setInputCols(['tokenized'])\
.setoutputCol('normalized')\
.setLowercase(True)\
.setCleanupPatterns(cleanup)
到目前为止 cleanup = ["[^A-Za-z]"] 满足第一个条件。但是现在我得到了少于 4 个字符的干净单词，我不明白如何删除这些单词。
非常感谢您的帮助！
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。