如何解决网页抓取项目+网页
我正在构建一个带有网页的 django 项目，用户可以在其中搜索文档。我使用 webscraper 来检索文档并将它们存储在数据库中。刮擦应每两小时运行一次，大约需要 5 分钟。我使用了 apscheduler 并在我的 django 项目中创建了一个 scraping_app。但是在抓取时，我无法从网页上进行任何搜索调用。如何确保抓取不会停止网页？
由于我是 Web 开发的新手，我想知道最佳实践是什么。我应该让抓取完全独立于网页项目并且只共享相同的数据库吗？还是将两者集成到同一个项目中？
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
