微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Splash 没有完全渲染网页

如何解决Splash 没有完全渲染网页

我正在尝试使用 scrapy + splash scrape 本网站 https://www.teammitsubishihartford.com/new-inventory/index.htm?compositeType=new。但我无法从该网站提取任何数据。当我尝试使用飞溅 api(浏览器)渲染网页时,我发现该网站未完全加载(飞溅渲染返回部分加载的网站图像)。我怎样才能完整地呈现网站?

解决方法

@Vinu Abraham,如果您的要求不是针对 scrapy + splash,则可以使用 selenium。当我们尝试抓取动态站点时会出现此问题。 以下是供参考的代码片段。

it('should test menu',() => {
    spyOn(menuSpy,'shouldHighlight').and.returnValue(true);
    spyOn(menuService,'getMenus').and.returnValue(MENUS);
    fixture = TestBed.createComponent(MenuComponent);
    component = fixture.componentInstance;
    fixture.detectChanges();
   // Component assertions 
  });

如果您使用scrapy获得相同的解决方案,也请告诉我。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。