Nutch-一次又一次访问几页以查找新链接

如何解决Nutch-一次又一次访问几页以查找新链接

我已将Nutch 1.17设置为仅使用内联爬网来爬网数千个域。我的主要要求之一是我必须一次又一次地访问主页（假设两小时后），如果有任何新页面，则仅应对其进行爬网。

最好的方法应该是什么？ 我正在考虑一次又一次地爬行运行喷油器作业以爬行首页。这是正确的方法吗？同时，我应如何确保链接也会随着时间而获取。