如何解决特定页面的 Robot.txt 规则
Google 搜索和 Bing 搜索引擎会抓取我们的域。我们只想用参数向公众隐藏几个页面。有没有什么办法。
示例
mydomain.com/products/phone.xhtml?xtoken=value
mydomain.com/products/electronics.xhtml?xtoken=value
我们不想同时隐藏 mydomain.com/products/phone.xhtml
我们不想显示 mydomain.com/products/phone.xhtml?xtoken=value
是受限制的内容。
解决方法
这是一种非常糟糕的方法,因为您只需在 robots.txt 中输入这些地址即可提醒公众注意这些地址。您假设所有爬虫都尊重 robots.txt。除此之外,您的解决方案有什么问题?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。