Google Bot Crawler一直在尝试抓取生产中我网站上不存在的CSS文件.
它要求:
http://www.mywebsite.com/assets/index-d45678283d4ab9905c3538184826e599.css
但是,它请求的CSS文件确实存在于开发中:
http://localhost:3000/assets/index-d45678283d4ab9905c3538184826e599.css
我不确定为什么要求这个文件.
在部署到生产之前,我使用Capistrano(加载“deploy / assets”)来预编译我的资产.
现在,我只是在robots.txt中阻止此文件,但它在每次部署后请求的css文件都会更改.
为什么GoogleBot要抓取生产网站中不存在的此文件?我怎么阻止它?
解决方法
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。