如何解决网络爬虫用户代理不存在
我在我的应用中使用 react-share。我希望人们能够分享图像等。为此，我以这样一种方式制作了我的应用程序，它可以捕获社交媒体爬虫并在它们转到我共享的 url 时显示原始 html。
我的按钮是这样设置的，
<FacebookShareButton quote={this.state.title} url={window.location.href}>
<FacebookIcon size={24} round={true}/>
</FacebookShareButton>
当我点击分享按钮时，它没有将任何社交媒体公司显示为用户代理。例如，当我点击 facebook 共享按钮时，facebook 共享屏幕出现，但我的后端记录用户代理，并且 'facebookexternalhit' 不会在那里。当用户导航到某物时，所有其他用户代理都是默认用户代理。这些是打印的请求标头。
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/90.0.4430.212 Safari/537.36
有人知道为什么会这样吗？
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
