微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

为什么我的蜘蛛提取的物品数量有限

如何解决为什么我的蜘蛛提取的物品数量有限

例如,当我使用网站“https://en.zalando.de/men-shoes-boots/”时,仅抓取了 37 个项目。我知道需要某种类型的分页才能进入下一页,但在第一页本身有超过 37 个项目,我似乎无法弄清楚为什么脚本在 37 处停止。

任何帮助将不胜感激!

我的蜘蛛元素查找器如下所示:

class ZalandoSpider (scrapy.Spider):
    name = 'zalando'
    start_urls = [
        'https://en.zalando.de/men-shoes-boots/'
    ]

def parse(self,response):

    alle_elementen = response.css('.DvypSJ')
    print('length=' + str(len(alle_elementen)))

可能与无限滚动有关,但我已经检查网络页面 2 个多小时了,但没有结果。

提前致谢

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。