我想检查一个远程网站是否包含一些文件.例如. robots.txt或favicon.ico.当然应该可以访问文件(读取模式).
所以如果网站是：http：//www.example.com/我想查看http://www.example.com/robots.txt.
我尝试抓取像http://www.example.com/robots.txt这样的网址.有时你可以看到文件是否存在,因为你在标题中找不到页面错误.
但是有些网站会处理这个错误,而你得到的只是一些HTML代码,说无法找到该页面.
您获得状态代码为200的标头.
所以任何人都知道如何检查文件是否真的存在？
感谢名单,
格兰尼特
解决方法:
如果他们使用HTTP 200提供错误页面,我怀疑你有一个可靠的方法来检测它.不用说,以这种方式提供错误页面是非常愚蠢的……
你可以尝试：
>发出HEAD请求,只生成所请求资源的标头.也许你会以这种方式获得更可靠的状态代码
>检查Content-Type标头.如果是text / html,您可以认为它是自定义错误页面而不是robots.txt(应该作为text / plain提供).对于favicons同样.但我认为只需检查text / html就是最可靠的方法.
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
