请问如何调试这个CCASS Web Scrapingaspx表单代码？

如何解决请问如何调试这个CCASS Web Scrapingaspx表单代码？

下面的代码应该从 aspx 网站抓取数据。然而，它没有返回任何东西（也没有错误）。

原始stackoverflow帖子： Scraping .aspx page with python (HKEX)

import requests

from bs4 import BeautifulSoup

URL = "http://www.hkexnews.hk/sdw/search/searchsdw.aspx"

with requests.Session() as s:
    s.headers={"User-Agent":"Mozilla/5.0"}
    res = s.get(URL)
    soup = BeautifulSoup(res.text,"lxml")
    payload = {item['name']:item.get('value','') for item in soup.select("input[name]")}
    payload['__EVENTTARGET'] = 'btnSearch'
    payload['txtStockCode'] = '00001'
    req = s.post(URL,data=payload,headers={"User-Agent":"Mozilla/5.0"})
    soup_obj = BeautifulSoup(req.text,"lxml")
    for items in soup_obj.select("table tbody tr"): 
        data = [item.get_text(strip=True) for item in items.select("td")]
        print(data)

解决方法

你需要改变

http://www.hkexnews.hk/sdw/search/searchsdw.aspx

到

https://www.hkexnews.hk/sdw/search/searchsdw.aspx

他们使用安全协议