微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

用wget镜像一个站点,只用gzip响应

我正在尝试镜像一个站点,但服务器只响应gzip页面,所以wget不会递归.我一直在搜索,有一些补丁的参考资料,为wget添加gzip支持但是它们似乎已经过时了.反正有没有这样做?如果不是我正在考虑通过Nginx反向代理它.

解决方法:

你有4种方式:

> wget one page,gunzip it并再次从html处理…迭代直到完成:

wget -m http://example.org/page.html
find . -name \*gz -exec gzip -d {} \;
find . -name \*html -exec wget -M -F {} \;</code></pre>

这将是缓慢的,但应该工作.
>安装privoxy并将其配置为解压缩请求的页面

+prevent-compression

Prevent the website from compressing the data. Some websites do that, which is a problem for privoxy when built without zlib support, since +filter and +gif-deanimate will not work on compressed data. Will slow down connections to those websites, though.

> privoxy或其他代理也可以获取压缩页面并将未压缩的副本传递给客户端;谷歌吧.
>我的wget不会发送请求gzip内容的“Accept-Encoding:gzip”标题…请检查你的原因.也许你有一个添加它的代理?
您还可以使用privoxy删除该标头.

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐