对于某些文本挖掘应用程序,我需要识别英语维基百科中每篇文章的每个单词的频率,并使用该数据填充
MySQL数据库.
This official page建议在转储上使用mwdumper或xml2sql,但它们并不直接用于我的目的(除非有人可以解释它们如何).
另一方面,使用WikiExtractor,用于Python的MysqLdb和本地MysqL服务器,可以让我完全按照自己的意愿行事,但是要解析整个转储需要一个月的时间很慢.对修改后的WikiExtractor程序进行概要分析表明,大多数运行时都花费在它的嵌套正则表达式搜索和我的数据库插入中.
理想情况下,我不希望处理文章花费超过几天.我怎样才能有效地做到这一点?
解决方法
Perl包
MediaWiki::DumpFile非常适合解析.要加载转储并读取每个页面,您只需要几行代码.
要进行简单的字频计算,您可以使用sample code in Perl FAQ或Text::Ngrams软件包进行更智能的操作.
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。