微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

有没有办法直接在 Colab 中使用来自 Google Cloud Storage 的数据?

如何解决有没有办法直接在 Colab 中使用来自 Google Cloud Storage 的数据?

我想在 Google Colab 中使用数据集 (170+GB)。我有两个问题:

  1. 既然 Colab 中的可用空间大约为 66GB,那么如果数据托管在 GCS 中,有没有办法直接在 Colab 中使用来自 GCS 的数据?如果没有,可能的解决方案是什么?

  2. 如何将数据集直接从可下载链接上传到 GCS,因为由于可用空间有限,我无法进入 colab?

感谢任何帮助。

解决方法

验证:

from google.colab import auth
auth.authenticate_user()

安装谷歌sdk:

!curl https://sdk.cloud.google.com | bash

初始化 SDK 以配置项目设置。

!gcloud init

1。将文件从 Cloud Storage 下载到 Google Colab

!gsutil cp gs://google storage bucket/your file.csv .

2。将文件从 Google Colab 上传到云端

gsutil cp yourfile.csv gs://gs bucket/

希望有帮助。 Source

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。