微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

requests_html render冻结几次

如何解决requests_html render冻结几次

我在requests_html库中遇到了.render()的问题。 当我尝试在一个会话(HTMLSession)中请求并渲染URL列表时,渲染会在几次后完全冻结。

from requests_html import HTMLSession 

def group_session(urls: list):
with HTMLSession() as session:
    for url in URLs:
        with session.get(url,timeout=60) as r:
            r.raise_for_status()
            r.html.render(timeout=60)

Session creation avg time: 0.000 Request avg time: 0.326 Request rendering time: 3.373

但是,当我对列表中的每个URL使用个人会话时,效果很好,但是呈现和请求时间增加了两倍。

from requests_html import HTMLSession 

def personal_session(urls: list):
    for url in URLs:
        with HTMLSession() as session:
            with session.get(url,timeout=60) as r:
                r.raise_for_status()
                r.html.render(timeout=60)

Session creation avg time: 0.000 Request avg time: 0.864 Request rendering time: 6.691

您是否知道为什么会发生这种情况,以及如何避免第一种情况冻结或减少第二种情况的渲染和请求时间?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。