如何解决你怎么知道哪些站点是 HTML 和 JS 的，哪些站点是使用 React、Angular 等通过 JS 呈现的？
在创建我的第一个爬虫时，我想检查一个网站是否是使用某个框架呈现的。我知道我可以使用 SplashRequest 来使用无头浏览器呈现它，但这效率不高。我如何才能确定哪些网站需要通过 Splash 访问，哪些网站不需要，而无需实际发出无用的 SplashRequests？
谢谢！
解决方法
您可以使用此扩展程序 https://chrome.google.com/webstore/detail/quick-javascript-switcher/geddoclleiomckbhadiaipdggiiccfje?hl=en 简单地禁用 JS，在您要抓取的网站上查看您要抓取的数据是否在页面上可用，如果没有，您将需要检查 AJAX调用网站，或使用任何无头浏览器，如 Selenium 或 Splash
我建议不要使用 SplashRequest，它的编程很差，对开发人员不太透明，我建议使用 Scrapy Selenium
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
