微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如何使用 Scrapy 在仪表板中获取数据?

如何解决如何使用 Scrapy 在仪表板中获取数据?

我正在从 geTaround.com 抓取一些有关租车的数据。我最近看到可以从使用 Javascript 呈现的日历中使用 scrapy-splash 获取汽车可用性。这个网址给出了一个例子:

https://fr.getaround.com/location-voiture/liege/ford-fiesta-533656

我需要的信息包含在类 divowner_calendar_month 标记中。但是,我发现在 div 标记中似乎可以使用类 js_car_calendar calendar_large 访问某些数据,其中属性 data-path 指定 /dashboard/cars/533656/calendar。您知道如何访问此路径吗?并使用 Scrapy 抓取其中的数据?

解决方法

如果您访问 https://fr.getaround.com/dashboard/cars/533656/calendar,您会收到一条错误消息,提示您必须登录才能查看数据。因此,如果您希望能够抓取该数据,首先您必须在 Scrapy 中创建一个方法来登录网站。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。