微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

div元素内的文本未使用Beautifulsoup和请求打印出来

如何解决div元素内的文本未使用Beautifulsoup和请求打印出来

我正在尝试编写脚本以刮擦ebay列表,但是遇到刮刮说明并将其存储在变量中的问题。这只是我的代码的相关部分:

import requests
from bs4 import BeautifulSoup

item = '293716122560'
url = 'https://www.ebay.co.uk/itm/' + item
result = requests.get(url)
soup = BeautifulSoup(result.text,'lxml')

description = soup.find(id="ds_div")
print(description)

但是,我的输出是这样:

None

如您所见,不是很有用。我尝试解决这个问题已经有很长时间了,但是我发现这与html的结构有关。任何人都可以做一些测试并帮助我,将不胜感激。谢谢

解决方法

看起来该元素已使用JavaScript渲染,因此请求将看不到它。您可以使用Selenium代替获取它的请求:https://selenium-python.readthedocs.io/

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。