用R可靠地爬取动态页面的方法

如何解决用R可靠地爬取动态页面的方法

我正在练习爬行作为一种爱好。虽然数据是从现场获取并正常运行，有时找不到html_nodes，返回一个空值。

这是我的代码

url <- "url"
remDr <- RSelenium::remoteDriver(myinformation,browserName = "chrome")
remDr$open()

class <- NULL

pagUrl <- paste0(url,"man/")

for (i in 1:length(pagUrl)){
  remDr$navigate(pagUrl[i])
  class <- (remDr$getPageSource()[[1]] %>% read_html() %>% html_nodes('#categories') %>% html_nodes('._3kOKu') %>% html_text())[4]
}

代码的“remDr$getPageSource()[1] %>% read_html()”部分总是有一个值。
之后，从"%>% html_nodes('#categories')中找不到节点。
并非总是如此，但偶尔会发生。

你需要什么才能可靠地爬行？ R Studio 正在使用中，RSelenium 和 Rvest 正在使用中。

我的猜测：网页是动态页面，所以我在想是 JavaScript 配置 Dom 的速度慢。

爬行练习网站：https://www.modes.com/us/shopping/