如何解决从分区 ORC 加载分区 BigQuery 表
我想通过来自分区 ORC 的 mydate
列创建一个 BigQuery 分区表。
GCS 中的文件:
mydate=2021-04-01/*.orc
...
mydate=2021-04-30/*.orc
命令 bq:
bq load --source_format=ORC --time_partitioning_field mydate --time_partitioning_type DAY mydataset.mytable gs://mydata/*.orc
当我运行此命令时,出现此错误:The field specified for partitioning cannot be found in the schema
因为 mydate
不在 ORC 文件中。
我该如何管理?
感谢您的帮助,祝您度过愉快的一天。
解决方法
我认为我们可以通过提供通过 source_uri_prefix 字段编码的自定义分区键架构来实现这一点。
使用以下与分区架构检测模式相关的链接和示例 [1] 和 [2],我认为您可以做到。 [1] https://cloud.google.com/bigquery/docs/hive-partitioned-loads-gcs#command-line-tool [2] https://cloud.google.com/bigquery/docs/hive-partitioned-loads-gcs
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。