rvest的搜寻网站询问地理位置

如何解决rvest的搜寻网站询问地理位置

我开始从阿根廷抓取一些网站。我要删除此特定网站：“ https://www.disco.com.ar/prod/88953/aderezo-mayonesa-natura-237-gr”或“ https://www.disco.com.ar/prod / 416680 / cerveza-rubia-brahma-chopp-1-l-botella-reornable“

我将“ rvest”软件包用于复制价格和其他网站的名称。我正在尝试使用下面的代码获取URL：

 library (rvest)
    url_1 <- "https://www.disco.com.ar/prod/88953/aderezo-mayonesa-natura-237-gr"
    page <- read_html (url_1)

我想用这些特定产品的价格和名称来抓取整个页面。我的问题是rvest仅在有人单击chrome中出现的位置问题之前才打开第一个窗口。在您点击“允许”或“不允许”后，chrome使我可以访问所有html信息。我附上参考照片，我想访问该产品，并且只能访问带有徽标的第一个窗口。

如何使信息可以通过get_html访问？我必须使用beautifulsoup还是什么？

任何帮助都非常值得欢迎，我感谢整个社区。​​ p>

解决方法

您需要致电：

POST /Geolocalizacion/Geolocalizacion.aspx/GuardarLocalizacion 

，然后将Cookie保存到您的html_session。产品信息位于JSON中位于input属性下且名称为hfProductData的{​​{1}}标签中：

value

输出：

library(rvest)
library(httr)
library(jsonlite)

r <- POST("https://www.disco.com.ar/Geolocalizacion/Geolocalizacion.aspx/GuardarLocalizacion",content_type("application/json"),body = toJSON(
        list(
            latitud = NA,longitud = NA,noLocalizar = TRUE
        ),auto_unbox = TRUE
    ),encode = "json")

cookieList <- cookies(r) 
cookies <- cookieList$value %>% setNames(cookieList$name) 

url <- "https://www.disco.com.ar/prod/88953/aderezo-mayonesa-natura-237-gr"

resp <- html_session(url,set_cookies(cookies)) %>% 
    html_nodes('input[name="hfProductData"]') %>%
    html_attr("value")

print(fromJSON(resp))