如何告诉NLTK以特定语言处理文本？
有一段时间我会编写一个专门的NLP例程,在非英语(但仍然是欧洲的)欧洲文本域上进行POS标记,标记等操作.
这个问题似乎只涉及不同的语料库,而不是代码/设置的变化：
POS tagging in German
或者,是否有任何专门用于python的希伯来语/西班牙语/波兰语NLP模块？
解决方法:
我不确定你所指的是代码/设置的变化. NLTK主要依赖于机器学习,并且通常从训练数据中提取“设置”.
当涉及到POS标记时,结果和标记将取决于您使用/训练的标记器.如果你训练自己,你当然需要一些西班牙/波兰训练数据.这些可能很难找到的原因是缺乏公开的黄金标准材料.有一些工具可以做到这一点,但这个工具不适用于python(http://www.ims.uni-stuttgart.de/projekte/corplex/TreeTagger/).
nltk.tokenize.punkt.PunktSentencetokenizer标记器将根据多语言句子边界对句子进行标记,其详细信息可在本文中找到(http://www.mitpressjournals.org/doi/abs/10.1162/coli.2006.32.4.485).
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
