微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

来自从 162.158 或 141.101 开始的 IP 的用户代理“Java/11.0.10”积极抓取网站

如何解决来自从 162.158 或 141.101 开始的 IP 的用户代理“Java/11.0.10”积极抓取网站

我在我的网站上遇到了一个奇怪的问题。我的服务器每天崩溃几次,在 2 个 cpu 的服务器上平均负载达到 100 分钟。请注意,我的平均负载通常小于 2。

在从我的服务器日志中调查问题的原因后,我意识到罪魁祸首是一个名为“Java/11.0.10”的用户代理,其 IP 从 162.158 或 141.101 开始。

部分 IP 是: 162.158.94.167 162.158.91.156 162.158.88.7 162.158.89.63 141.101.76.175 141.101.105.119 141.101.104.200

我可以看到这些 IP 来自 cloudflare(是的,我使用了 cloundflare)。请求同时访问网站上的多个页面,导致服务器崩溃。

现在我的问题是:

  1. 这些请求是否来自 cloudflare 以便预加载缓存?
  2. 什么是用户代理“Java/11.0.10”?
  3. 如果请求不是来自 Cloflare,我该如何阻止用户代理或 IP 范围抓取网站,同时允许合法用户继续访问网站?

提前致谢。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。