如何解决来自从 162.158 或 141.101 开始的 IP 的用户代理“Java/11.0.10”积极抓取网站
我在我的网站上遇到了一个奇怪的问题。我的服务器每天崩溃几次,在 2 个 cpu 的服务器上平均负载达到 100 分钟。请注意,我的平均负载通常小于 2。
在从我的服务器日志中调查问题的原因后,我意识到罪魁祸首是一个名为“Java/11.0.10”的用户代理,其 IP 从 162.158 或 141.101 开始。
部分 IP 是: 162.158.94.167 162.158.91.156 162.158.88.7 162.158.89.63 141.101.76.175 141.101.105.119 141.101.104.200
我可以看到这些 IP 来自 cloudflare(是的,我使用了 cloundflare)。请求同时访问网站上的多个页面,导致服务器崩溃。
现在我的问题是:
- 这些请求是否来自 cloudflare 以便预加载缓存?
- 什么是用户代理“Java/11.0.10”?
- 如果请求不是来自 Cloflare,我该如何阻止用户代理或 IP 范围抓取网站,同时允许合法用户继续访问网站?
提前致谢。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。