微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Python中文分词是什么?常用Python中文分词工具的使用方法

在学习分词之前,我们先说一下词云。相信这个大家都不陌生,在Python中使用词云做出来的效果图非常漂亮。那么,中文分词就是做词云前最重要的一步,也算是词云的基础了,下面就一起来看看Python中有哪些中文分词工具。

一、Python中文分词

在使用中文分词的工具的时候,其实有很多种,有些工具是免费的,还有收费的,如果是免费使用的话,可以直接在你的笔记本电脑里就能安装使用,今天所使用的是可以直接在你的笔记本电脑上,免费做中文分词。我们需要使用的工具,名称很有奇怪称之为“ 结巴分词 ”。也就是jieba工具。

二、jieba工具

这个工具是一个免费制作中文分词的工具,我们在使用之前需要先进行安装,安装的时候需要使用的是pip工具,安装命令如下:

pip install jieba

安装好之后就可以直接使用,在这个工具中,提供了一种精准的模式,如下:

jieba.cut(text)

使用这种模式,最后会返回一个迭代器,并且每一个元素都表示一个词语,其中cut()函数中有两个参数可以使用,如下:

HMM:可以实现新词功能,并且自动计算的词频;

use_paddle:如果使用paddle模式后是没有办法对词典重新自定义 

举个例子,代码如下:

import jieba
print(' '.join(jieba.cut('行动才是果实,言辞不过是枝叶。')))

运行结果:

行动 才 是 果实 , 言辞 不过 是 枝叶 。

这篇关于Python中文分词是什么?常用Python中文分词工具的使用方法文章分享到这里了,如果还有其他想要学习的内容,可以继续关注了解哦。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐