如何解决在StormCrawler中处理不同的爬网请求
我有一个基于StormCrawler的项目，需要永久运行。但是我想通过Web应用程序运行多个爬网请求。 Web应用程序中的每个用户都可以提交其对搜寻器的请求。提交请求后，我们在Web请求后面的对应表中创建一个新记录，并将其ID放入Kafka，同时将其在表中的状态更改为SUBMITTED。 Kafka使用者从Kafka获取请求ID，并将其相应的元组发出给StormCrawler。完成每个爬网请求后，我们需要将其状态更新为“完成”，以便通知提交的用户。如何检测每个爬网请求的完成情况并更新表中的状态？
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
