微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如何在BQ中读取CSV数据时动态更改表架构?

如何解决如何在BQ中读取CSV数据时动态更改表架构?

我有txt格式的数据,其中包含几个文件,每个文件有3列,而几个文件有4列,如何创建仅读取前3列的表?

我一直在使用BQ UI创建表,这在读取4列数据时会导致错误

EX:file1.txt

1234|sample|test
1254|sample2|test2
12324|sample3|test3

File2.txt

1234|var1|test
1254|var2|test2
12324|var3|test3

file3.txt

1234|var1|test|123242
1254|var2|test2|1321412
12324|var3|test3|1312123

我现在拥有的模式

field1 Int
field2 String
field3 String
filed4 Int

我将这些文件保存在gcs存储桶中,并且外部表指向该位置

读取表格时出错: testing-dataset-project.testing_tables.test_data,错误消息: CSV表引用了列位置3,但行始于 位置:0仅包含3列。

解决方法

您可以按照here所述使用选项Allow jagged rows

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。