如何解决如何在BQ中读取CSV数据时动态更改表架构?
我有txt格式的数据,其中包含几个文件,每个文件有3列,而几个文件有4列,如何创建仅读取前3列的表?
我一直在使用BQ UI创建表,这在读取4列数据时会导致错误,
EX:file1.txt
1234|sample|test
1254|sample2|test2
12324|sample3|test3
File2.txt
1234|var1|test
1254|var2|test2
12324|var3|test3
file3.txt
1234|var1|test|123242
1254|var2|test2|1321412
12324|var3|test3|1312123
我现在拥有的模式
field1 Int
field2 String
field3 String
filed4 Int
我将这些文件保存在gcs存储桶中,并且外部表指向该位置
读取表格时出错: testing-dataset-project.testing_tables.test_data,错误消息: CSV表引用了列位置3,但行始于 位置:0仅包含3列。
解决方法
您可以按照here所述使用选项Allow jagged rows
。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。