我使用的是母鸡2.3.所有作业运行一个又一个,即第一个生成器,提取,解析,索引等.我想同时运行一些作业.我知道一些作业不能并行运行,但其他作业可以解析作业,dbupdate,indexjob应该用fetch运行.
可能吗 ?我的基本目标是一直运行抓取工作.我想我们可以用不同的时间戳来做.
任何人都可以指导我正确的方法吗?
解决方法
如果您查看了Nutch Web应用服务器,您将发现它可以并行执行多个爬网作业.您应该查看Nutch 2.3的源代码,用于webapp [NutchUiServer].希望这可以帮助.
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。