微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

两种获取链接响应码的方法 python实现

两种获取链接响应码的方法 (python实现)

背景:
工作中需要测试某个包是否正常上传到了 yum 仓库,所以需要检测对应地址是否有效,发现之前使用requests 库写的代码出奇的慢,所以做了优化。

分别使用 requests 和 urllib 库实现
结论:使用urllib 库要比 requests 库要快。尤其是对于链接为比较大的文件时。

代码如下:

import requests
import urllib.request
import time

def get_excute_time(fun):
    def wrapper(*args):
        start = time.time()
        fun(*args)
        end = time.time()
        print("spend %.2fs"%(end - start))
    return wrapper


@get_excute_time
def get_code_by_urllib(url):
    status = urllib.request.urlopen(url).code
    return status

@get_excute_time
def get_code_by_requests(url):
    status = requests.get(url).status_code
    return status

if __name__ == "__main__":
    url = "https://mirrors.openanolis.cn/anolis/8/AppStream/x86_64/os/Packages/dotnet-sdk-6.0-6.0.107-1.0.1.an8_6.x86_64.rpm"
    get_code_by_urllib(url)
    get_code_by_requests(url)

执行结果

$ python request_code.py 
spend 0.19s
spend 11.56s

备注:
   如果测试多个 url,也可以使用 threading 模块编写多线程测试,减少 io 阻塞的情况,进一步提高效率。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐