微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

将数据集从 google cloud datalab 导出到 google colab

如何解决将数据集从 google cloud datalab 导出到 google colab

我在我的 Google Cloud 数据实验室中创建了一个数据集,我想在 Google Colab 中继续处理它(使用 Python)。我不知道如何将数据集导出到 Google Colab(或 Jupyter)。你能帮我吗?

这是我在 Google Datalab 中的数据集:

%sql --module afewrecords
Select pickup_datetime,dropoff_datetime,pickup_longitude,pickup_latitude,dropoff_longitude,dropoff_latitude,passenger_count,trip_distance,tolls_amount,fare_amount,total_amount
 
From [nyc-tlc:yellow.trips] LIMIT 10

trips = bq.Query(afewrecords).to_dataframe()
trips

我想在 Google Colab 中进行旅行。

提前致谢。

解决方法

为了将 BigQuery 数据读入 Colab 实例中的 DataFrame,您需要:

  1. 使用 Cloud Resource Manager 创建一个项目(如果您没有);
  2. Enable billing 用于项目;
  3. 启用 BigQuery API,以便您可以与 BigQuery 交互;

完成这些步骤后,您可以使用文档中的 this snippet。请注意,from google.colab import auth auth.authenticate_user() 会验证您访问 BigQuery 的请求。此外,您将使用 pd.io.gbq.read_gbq() 编写查询。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。