通过Storm Crawler中的Web应用程序接受爬网请求的最佳实践

如何解决通过Storm Crawler中的Web应用程序接受爬网请求的最佳实践

通过Web API发送抓取请求是我们客户最重要的要求之一。例如，Web应用程序的用户需要通过表单提交seedUrl，然后再获取结果。提交每个请求之后，我需要将该请求保存到状态为SUBMITTED的数据库中，如果每个请求完成，我都希望将该请求的状态更改为COMPLETED或ERROR等。

通过网络应用程序将抓取请求提供给Storm Crawler是否是一种好习惯？每个抓取请求可能包含1个seedUrl至50万个seedUrl。

我想要解决类似问题的软件体系结构或一些代码库。