这篇“Nginx中配置过滤爬虫的User-Agent方法”文章的知识点大部分人都不太理解，所以小编给大家总结了以下内容，内容详细，步骤清晰，具有一定的借鉴价值，希望大家阅读完这篇文章能有所收获，下面我们一起来看看这篇“Nginx中配置过滤爬虫的User-Agent方法”文章吧。
一看不得了，基本上都是被一个user agent叫"yisouspider"的东西给刷屏了，一看就不知道是哪的蜘蛛，太没节操了。
找到根目录配置区，增加user agent过滤判断语句，发现叫"yisouspider"的直接返回403
注1：如果需要增加多个过滤，这样做
($http_user_agent ~* "spider1|spider2|spider3|spider4")
，中间用|隔开就行了
注2：如果你是用的是子目录博客，像我的一样，那么要找到 "location /blog/" 这样的区段去修改
location / {
......其它配置
if ($http_user_agent ~* "yisouspider") {
return 403;
}
}
配置完成wq保存后reload一下nginx，然后使用以下命令自我测试，地址自己改。没装curl的我就没办法了，自己apt或者yum装一个吧，神器来的。
curl -i -a "yisouspider" www.slyar.com/blog/
看到返回403就可以了，说明配置成功
以上就是关于“Nginx中配置过滤爬虫的User-Agent方法”这篇文章的内容，相信大家都有了一定的了解，希望小编分享的内容对大家有帮助，若想了解更多相关的知识内容，请关注编程之家行业资讯频道。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。