我们究竟应该在什么时候在文本预处理管道中进行拼写校正？

如何解决我们究竟应该在什么时候在文本预处理管道中进行拼写校正？

纠正单词拼写的步骤是否必须在词典规范化（即词干提取、词形还原）之前或之后完成？如果我们在词典规范化之后再做，如果我们执行词形还原，这些词不是已经被简化为它们的词根形式吗？（通过传递词的 POS ie 词性标签作为参数）所以不会有任何用处用于词典规范化后的拼写检查对吗？

解决方法

您应该更正拼写 1st。词形还原是在一些语料库上训练的，但由于我引入了一些不属于其中的内容，因此它可能不起作用。见下文：

# import these modules 
from nltk.stem import WordNetLemmatizer 
  
lemmatizer = WordNetLemmatizer() 
  
print("changing :",lemmatizer.lemmatize("changing",pos ="v")) 
print("change :",lemmatizer.lemmatize("change")) 
print("changer :",lemmatizer.lemmatize("changer")) 
  
# # a denotes adjective in "pos" 
print("changing :",lemmatizer.lemmatize("changyng",pos ="v")) 

---

changing : change #<----------
change : change
changer : changer
changing : changyng #<-------

你看我刚刚把changes的拼写改成了changyng，还是不能进行词形还原。