微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

当生成的 .RData 文件大小大于 2.5Gb 时,无法使用 googleCloudStorageR::gcs_save() 对象有限制吗?如果可以,可以更改吗?

如何解决当生成的 .RData 文件大小大于 2.5Gb 时,无法使用 googleCloudStorageR::gcs_save() 对象有限制吗?如果可以,可以更改吗?

我正在使用 googleAuthRgoogleCloudEngineRgoogleCloudStorageR 来启动带有 template = "rstudio"tag <- "gcr.io/gcer-public/persistent-rstudio" 的运行 RStudio 服务器的虚拟机。在 vm 上的 RStudio 中,我正在运行一些代码并将文件写入 Google Cloud Storage。存储桶的访问控制设置为 fine-grained

我可以通过 gcs_load() 从存储桶中获取保存的对象并通过 gcs_upload() 上传文件,没有问题。我可以使用 gcs_save() 保存对象组合,只要生成.RData 文件大小小于 2.5GB(我收到一条消息 Found resumeable upload URL:...成功)。

但是,当我尝试 gcs_save() 对象组合导致 .RData 文件 >2.5GB 时,我收到错误消息: Error in save(...,file = tmp,envir = envir) : error writing to connection vm 有大约 80GB 的可用内存,所以临时文件应该很容易保存在内存中。

在我的计算机本地运行并尝试 gcs_save() 到 Google Cloud Storage 存储分区时,我遇到了同样的问题。

使用 .RDatagcs_save() 文件大小是否有硬性限制?如果是这样,有没有办法提高限制?

虚拟机是一个 n1-standard-32。以下是虚拟机的详细信息和包:

   var                 val                           
   <chr>               <chr>                         
 1 platform            "x86_64-pc-linux-gnu"         
 2 arch                "x86_64"                      
 3 os                  "linux-gnu"                   
 4 system              "x86_64,linux-gnu"           
 5 status              ""                            
 6 major               "3"                           
 7 minor               "5.2"                         
 8 year                "2018"                        
 9 month               "12"                          
10 day                 "20"                          
11 svn rev             "75870"                       
12 language            "R"                           
13 version.string      "R version 3.5.2 (2018-12-20)"
14 nickname            "Eggshell Igloo"              
15 stats               "base"                        
16 graphics            "base"                        
17 Grdevices           "base"                        
18 utils               "base"                        
19 datasets            "base"                        
20 methods             "base"                        
21 base                "base"                        
23 jsonlite            "1.6"                         
24 stringdist          "0.9.5.1"                     
25 scales              "1.0.0"                       
26 cluster             "2.0.7-1"                     
27 RColorBrewer        "1.1-2"                       
28 listenv             "0.7.0"                       
29 magrittr            "1.5"                         
30 lubridate           "1.7.4"                       
31 forcats             "0.5.1"                       
32 stringr             "1.4.0"                       
33 dplyr               "1.0.4"                       
34 purrr               "0.3.4"                       
35 readr               "1.3.1"                       
36 tidyr               "1.1.2"                       
37 tibble              "3.0.6"                       
38 ggplot2             "3.3.3"                       
39 tidyverse           "1.2.1"                       
40 future              "1.11.1.1"                    
41 usethis             "1.4.0"                       
42 devtools            "2.0.1"                       
43 httr                "1.4.0"                       
44 bigrquery           "1.3.2"                       
45 googleCloudStorageR "0.4.0.9000"                  
46 googleAuthR         "0.7.0.9000" 

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。