在我看来robots协议就是站长行使网站支配权的执行文件，这是我们作为站长最根基的权利。它是搜索引擎蜘蛛爬取网站之前要面临的第一道关隘，所以robots协议的重要性也是可想而知了。都说细节抉择成败，那么越重要的对象细节就 […]
在我看来robots协议就是站长行使网站支配权的执行文件，这是我们作为站长最根基的权利。它是搜索引擎蜘蛛爬取网站之前要面临的第一道关隘，所以robots协议的重要性也是可想而知了。都说细节抉择成败，那么越重要的对象细节就显得尤为重要，往往本身一不小心忽略的一个细节到最后就大概会成为你的致命一击。本人之所以会这么说，是因为我差点就成了这个问题的后面课本了，还好发明的实时也算是亡羊补牢吧！之所以想当即分享给各人，就是但愿各人今后本身做站的时候要制止犯雷同的错误。
工作其实就产生在本日，颠末是这样的：因为小明SEO博客也刚做好不久，前几天网站上线之后发明尚有许多小问题需要处理惩罚，为了制止网站还在调解的进程中就被搜索引擎抓取到，所以我在robots协议内里写了克制所有搜索引擎爬取网站任何部门的指令，网站的调解一直一连了几天（之所以会弄这么长时间是因为我是一个不能容忍瑕疵的人，不知道这算不算强迫症的一种），直到昨天也就是2月3号才全面竣工，可是这期间我天天都在僵持添加原创文章。昨天网站查抄完毕，全部问题都办理好今后，我就把robots协议从头改换了过来，而且发了一篇帖子引了蜘蛛但愿爬虫能快点过来爬我的网站。就这样，到了本日早上发明网站照旧没有被收录，于是我就去百度站长东西平台看一下我的网站到底是个什么环境，进去一看吓我一跳，因为我看到了下面一则（如图所示）信息：
我的网站竟然对百度举办了全面封禁，检测时间是在本日（2月4号）早上破晓5点整的时候，这让我像丈二的僧人摸不着脑子了，太不科学了，因为我在昨天2月3号上午已经把网站的robots协议变动过来了，真的是太奇怪了。就在我百思不得其解的时候总算是通过站长平台东西的“robots检测”找到了谜底，看下图：
本来百度蜘蛛早就在我网站蜘蛛上线后的第三天抓取了我网站的robots协议，所以当前生效的协议也就是其时它抓取到的我把蜘蛛全部屏蔽时的谁人，而本站最新的robot协议还没有生效。这下我总算是大白了过来了，既然弄清楚了原因那工作就好办了。于是我当即把协议提交更新了一下，如下图：
更新今后一分钟内协议就更新过来了，如下图：
可以看到，当前本站最新的robots已经开始生效了，就这样到了下午，当我再次进入百度站长平台就收到了新动静，如下图所示：
至此网站已经清除了robots协议对百度的全面封禁，检测时间显示的是本日下午两点整。到了晚上也差不多就是在三个多小时以前，当我再次查抄网站收录环境的时候，网站首页已经被收录了。如下图：
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
