未处理或不允许 Scrapy Splash HTTP 状态代码

如何解决未处理或不允许 Scrapy Splash HTTP 状态代码

我正在使用 scrapy-splash 抓取使用 javascript 加载结果的汽车经销商网站，但我不断收到错误 504 网关超时。

我有 docker 和 Win10，我不认为问题出在 docker 配置上，因为我可以用相同的代码抓取另一个站点。

import scrapy
from scrapy_splash import SplashRequest
from scrapy.loader import Itemloader
from ..items import  AutoItem

class Main_Spider(scrapy.Spider):
     name = 'dealers'
     allowed_domains = ['audidowntowntoronto.com']
         
     script = '''
     function main(splash)
        local scroll_delay = 3
        local is_down = splash:jsfunc("function() { return((window.innerHeight + window.scrollY) >= document.body.offsetHeight);}")
        local scroll_to = splash:jsfunc("window.scrollTo")
        local get_body_height = splash:jsfunc("function() {return document.body.scrollHeight;}")
        assert(splash:go(splash.args.url))
        while not is_down() do
            scroll_to(0,get_body_height())
            splash:wait(scroll_delay)
        end        
        return splash:html()
     end
     '''
     
     def start_requests(self):    
       yield SplashRequest(url="http://audidowntowntoronto.com/all/",callback=self.parse,endpoint="execute",args={'lua_source': self.script})

     def parse(self,response):      
        url = response.xpath('//*[@itemprop="url"]/@href').extract() 
        print (url)

解决方法

这里不用lua脚本也可以。添加如下所示的端点和其他参数。

yield SplashRequest(
                    url="http://audidowntowntoronto.com/all/",callback=self.parse,args={
                            'html': 1,'wait': 5,'render_all': 1
                        },endpoint='render.json')