我想在NLTK的CategorizedplainCorpusReader中阅读孟加拉语文本.对于我在gedit文本编辑器中的孟加拉语文本文件的快照：
崇高文本编辑器中文件的快照：
从快照中您可以看到问题.问题是Unicode组成问题(虚线环已死).这是用于阅读文本的代码段：
>>> path = os.path.expanduser('~/nltk_data/corpora/Bangla')
>>> from nltk.corpus.reader import CategorizedplaintextCorpusReader
>>> from nltk import RegexpTokenizer
>>> word_tokenize = RegexpTokenizer("[\w']+")
>>> reader = CategorizedplaintextCorpusReader(path,r'.*\.txt',cat_pattern=r'(.*)_.*',word_tokenizer=word_tokenize)
>>> reader.sents(categories='pos')
输出为：
输出应为“একবার”而不是“একব”“র”.可以做什么？提前致谢.
解决方法:
您需要提供Bengali characters的Unicode范围.
采用
word_tokenize = RegexpTokenizer("[\u0980-\u09FF']+")
撇号可以原样保留在字符类中.
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
