文本挖掘的基本过程：
1.文本分析
主要就是对文本进行分词处理（去标点，去停用词，词干处理），找出有含义的最小单位--词。
实例：
提高全体居民的生产生活水平
（1）提高 高全 全体体居 居民 名的 的生 生产 产生 生活 活水 水平
（2）提高 全体居民 的 生产 生活 水平
（3）提高 全体 居民 的 生产 生活 水平
......
哪种是最好的分割呢？不同的方法会产生不同的结果。
2.文档模型及特征提取
文档模型其实就是选择一种计算框架，有三种常用模型：布尔模型、向量空间模型、概率模型。
怎样表示一篇文档，涉及到特征提取：特征词及其权重、关键词摘要、特定信息抽取。
tf：term frequency 词频
idf:inverse document frequency 逆文档频率
3.挖掘
文档特征化后，基于不同的目的，考虑在计算机的世界里完成以下任务：
检索、 分类、 过滤、聚类、 TDT
当然，有时候维度过大，需要考虑降维或者维度重构，所有这些基于数理统计中的矩阵分解（PCA ICA）。
4.结果评价
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
