如何使用 Scrapy 进行价格更新

如何解决如何使用 Scrapy 进行价格更新

我正在开发降价通知应用程序，我正在考虑为此使用 Scrapy，但是，我不确定如何使用它，我是否需要在特定时间间隔后定期检查产品价格，或者是否存在任何其他方式来做到这一点。

解决方法

Scrapy 是一种抓取数据的好方法，但是您仍然需要弄清楚如何存储旧值，并反复运行抓取器对其进行检查，并发送通知。

对于没有太多页面导航的简单网站，仅使用 requests 和 BeautifulSoup 通常更容易，我只会将 Scrapy 添加到该组合中以处理多页面导航的抓取。

---

Zyte（由 Scrapy 的创建者，前身为 ScrapingHub）有一个 PaaS 产品，用于执行每小时自动抓取，并且您可以在其中调用外部服务以获取通知。