微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Scrapy,提取空div

如何解决Scrapy,提取空div

我正在抓捕一个有数据点和标签的网站。它们全都以1:1的比例。除了某些时间,数据点可能为空。当我在选择器上运行我的extract_all()时。我得到了所有想要的数据点,但是它忽略了空字符串。我不想让它们忽略这些,因为我先得到标签,然后得到数据点,然后将它们一对一地同步。问题出在当div在页面上为空然后同步丢失时。如果div的文本内容区域中没有任何内容,如何向extract_all添加选项以返回空字符串。或在有数据点和标签时进行刮擦的更好方法。我在此处添加了一张图片,以用于当它是完美记录时,以及当div空列表存在问题时。

https://i.stack.imgur.com/3fcd7.png https://i.stack.imgur.com/pkFI9.png

解决方法

请不要提取所有内容。处理单个数据点行:

results = []

for data_point_row in response.xpath('//your/xpath/to/select/a/div/or/table/row'):
    label = data_point_row.xpath('./select/a/label').get()
    value = data_point_row.xpath('./select/a/value').get()
    results.append({'label': label,'value': value})

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。