如何解决HTMLUnit缺少形式参数
我正在尝试使用HtmlUnit抓取网站,但它会引发异常。我无法禁用JavaScript,因为该网站是在Angular中构建的。将ThrowExecutionOnScriptError
设置为false
并没有帮助。我尝试了所有浏览器版本。有什么想法吗?
//imports
public class Scrapper {
public static void main(String[] args) throws FailingHttpStatusCodeException,MalformedURLException,IOException {
String url="https://www.gog.com/games?page=1&sort=popularity&price=discounted";
WebClient client=new WebClient(BrowserVersion.CHROME);
client.getOptions().setCssEnabled(false);
client.getOptions().setJavaScriptEnabled(true);
client.getOptions().setUseInsecureSSL(true);
client.getOptions().setThrowExceptionOnScriptError(false);
HtmlPage page=client.getPage(url);
client.waitForBackgroundJavaScript(3000);
System.out.println(page.asXml());
// List<HtmlElement> items=page.getByXPath("div[@class='product-tile']");
// if(items.isEmpty()) {
// System.out.println("Nothing found");
// }else {
// for(HtmlElement i:items) {
// System.out.println(i.asText());
// }
// }
}
}
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。