微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如何使用R从php网站抓取大表

如何解决如何使用R从php网站抓取大表

我正在尝试从“ https://www.Metabolomicsworkbench.org/data/mb_structure_ajax.PHP”中抓取表格。

我在网上找到的代码(rvest)无法正常工作

library(rvest)
url <- "https://www.Metabolomicsworkbench.org/data/mb_structure_ajax.PHP"
A <- url %>%
  read_html() %>%
  html_nodes(xpath='//*[@id="containerx"]/div[1]/table') %>%
  html_table()

A是“ 0列表”

我应该如何解决代码,或者有更好的方法吗?

谢谢。

解决方法

页面源由JS生成。这是您的工作:

  1. 打开浏览器的开发工具,然后转到“网络”标签。 enter image description here
  2. 单击页面之一,查看发生了什么(我单击到第4页)。您可以看到该页面向images/q3.png发送了POST请求并获取了其内容。 enter image description here 以下是参数: enter image description here
  3. 通过https://www.metabolomicsworkbench.org/data/mb_structure_tableonly.php模拟POST请求。以下是刮取所有页面的代码:
rvest

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。