微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如何登录本网站并提取所需数据?

如何解决如何登录本网站并提取所需数据?

我正在尝试通过以下链接从本网站(“您的价格”)中检索部件的自定义用户数据:“https://www.rhsparts.com/Item/11-309/American-Panel/spring -kit-brushed-chrome”。

我已经尝试了几个小时来使用不同的代码变体来实现这一目标。这是我当前的代码

    String url = "https://www.rhsparts.com/";
    String login = "loginUsername";
    String pass = "loginPassword";
    String agent = "Mozilla/5.0";
    Connection.Response res = Jsoup.connect(url).userAgent(agent).method(Connection.Method.GET).execute();

    Map<String,String> cookies = new HashMap<String,String>();
    Map<String,String> dataMap = new HashMap<String,String>();

    Document resdoc = res.parse();

    cookies.putAll(res.cookies());

    dataMap.put("user",login);
    dataMap.put("pass",pass);
    dataMap.put("attemptlogin",resdoc.select("input[name=attemptlogin]").attr("value"));
    // check value
    System.out.println(resdoc.select("input[name=attemptlogin]").attr("value"));

    Connection.Response doc = Jsoup.connect(url).userAgent(agent).cookies(cookies).data(dataMap).method(Connection.Method.POST).execute();

    Document doc2 = Jsoup.connect("https://www.rhsparts.com/Item/11-309/American-Panel/spring-kit-brushed-chrome").cookies(doc.cookies()).userAgent(agent).headers(doc.headers()).get();

    Elements e = doc2.select("table.price_table");
    System.out.println(e.text());

我做错了什么?我对 Jsoup 相当陌生。 我知道将 cookie 用于其他网站页面将使我保持登录状态,但我无法成功登录。提供的链接只是来自 RHS 网站的示例项目。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。