微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

chompjs 无法从特定页面获取 json 数据

如何解决chompjs 无法从特定页面获取 json 数据

我尝试使用我的代码解析来自此源的每个产品页面https://eigeradventure.com/mens/bags.html?p=1

from requests_html import HTMLSession
import chompjs
import pandas as pd

s = HTMLSession()
def get_urls(x):
    url = f'https://eigeradventure.com/mens/bags.html?p={x}'
    r = s.get(url)
    product = r.html.find('.product-item-link')
    product_links = [p.attrs['href'] for p in product]
    return list(dict.fromkeys(product_links))

def parseurl(link):
    r = s.get(link)
    datas = r.html.find('script[type="application/ld+json"]',first=True)
    data = chompjs.parse_js_object(datas.text)
    return data

并且主要工作并给出json结果。但它不适用于像这个页面这样的特定页面https://eigeradventure.com/r-lt-14-digi-vault-1a.html,它给了我这样的错误

in parse_js_object raise ValueError("Parser error: ... {}".format(str(exception).encode('utf-8')))
ValueError: Parser error: ... b''

知道出了什么问题吗?谢谢

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。