如何解决requests_html render冻结几次
我在requests_html库中遇到了.render()的问题。 当我尝试在一个会话(HTMLSession)中请求并渲染URL列表时,渲染会在几次后完全冻结。
from requests_html import HTMLSession
def group_session(urls: list):
with HTMLSession() as session:
for url in URLs:
with session.get(url,timeout=60) as r:
r.raise_for_status()
r.html.render(timeout=60)
Session creation avg time: 0.000 Request avg time: 0.326 Request rendering time: 3.373
但是,当我对列表中的每个URL使用个人会话时,效果很好,但是呈现和请求时间增加了两倍。
from requests_html import HTMLSession
def personal_session(urls: list):
for url in URLs:
with HTMLSession() as session:
with session.get(url,timeout=60) as r:
r.raise_for_status()
r.html.render(timeout=60)
Session creation avg time: 0.000 Request avg time: 0.864 Request rendering time: 6.691
您是否知道为什么会发生这种情况,以及如何避免第一种情况冻结或减少第二种情况的渲染和请求时间?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。