如何编写一个python程序,返回文本中至少出现5次的所有单词？

我只需要做这篇文章的标题所说的：编写一个python程序,它返回在文本中至少出现5次的所有单词.我意识到这是一个非常简单的问题.我是一个新手程序员,试图获得一些NLP技能,由于某种原因,我无法弄清楚这一点.非常感谢您的帮助！

谢谢！

解决方法:

你应该用“word”来定义你的意思.不同的定义会产生不同的结果.一般模板是：

from collections import Counter

count = Counter(getwords(normalize(text)))
words = [w for w, c in count.items() if c >= 5]

你可以使用各种getwords()定义,normalize()例如：

import re

def normalize(text): # remove non-ascii, convert to lowercase
    return text.encode('ascii', 'ignore').lower().decode()

def getwords(text): # allow only a-z
    return re.findall(ur"[a-z]+", text)

或者基于nltk的标记生成器：

from nltk.tokenize import sent_tokenize, word_tokenize

def getwords(text):
    return (w for sent in sent_tokenizer(text) for w in word_tokenize(sent))