我在Go中创建一个网址抓取器,并有一个要抓取的网址列表。我向每个URL发送http.Get()请求并获取他们的响应。
resp,fetch_err := http.Get(url)
如何为每个Get请求设置自定义超时? (默认时间很长,这使我的抓取器真的很慢。)我想我的抓取器有一个大约40-45秒的超时,之后它应该返回“请求超时”,并移动到下一个URL。
我该如何实现呢?
显然在Go 1.3
http.Client有超时字段
timeout := time.Duration(5 * time.Second) client := http.Client{ Timeout: timeout,} client.Get(url)
这是为我做的伎俩。
原文地址:https://www.jb51.cc/go/188272.html
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。