如何解决在没有云存储的情况下将大型 csv 直接加载到 Big Query 中？
我正在考虑将 CSV(s) 从远程服务器加载到 Big Query，即使压缩，它们也会大于 10MB。我的理解是，要将远程文件直接加载到 Big Query 中，这在技术上遵循在数据所在的远程服务器上的脚本中实现的“从本地文件加载数据”的过程。
根据大查询文档，这限制为 10MB/文件。我是否需要将文件加载到 GCS 中，然后使用 BQ 数据传输服务来完成这项任务？将巨大的 CSV 分解成一堆 10MB 的 CSV 是一个实用的选择吗？这需要可扩展。
解决方法
正确的方法是将文件上传到 Cloud Storage，然后从 GCS（不是传输服务）执行 load job。
加载作业功能强大。速度非常快，可以同时在同一张表中导入多个文件！
这绝对是可扩展的最佳方式。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
