如何解决使用带有 CSV 的 BigQuery 传输服务时,是否可以只传输某些列?不是,所有列?
我正在设置 BigQuery 传输服务,以将存储在 GCS 存储桶中的 CSV 传输到 BigQuery。
但是,我不需要 CSV 文件中的所有列。有没有办法限制我传输的列,而不必在传输前手动移除列?
或者,如果我将 BQ 表中的列限制为我需要的列,BQ 会忽略 CSV 文件中的其他列吗?
我已阅读 documentation 中的相关页面,但没有提及限制列。
解决方法
如果您使用所需的列手动指定目标表架构,则可以完成您想要的操作。然后当您使用传输服务时,您需要将选项 ignore_unknown_values
设置为 true。
假设我在 Google Cloud Storage 上有一个包含以下数据的 CSV:
"First"|"Second"|"Ignored"
"Third"|"Fourth"|"Ignored"
然后我有一个名为 test
的表和架构如下:
first_col STRING NULLABLE
second_col STRING NULLABLE
使用 Web UI 配置传输服务并选中“忽略未知值”复选框后,我在表中得到以下数据:
first_col | second_col |
---|---|
第一次 | 第二个 |
第三 | 第四 |
在此section中阅读更多相关信息。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。