微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

雪花中的文件格式问题 - Tilda字段分隔符,两个双引号

如何解决雪花中的文件格式问题 - Tilda字段分隔符,两个双引号

我们正在从红移迁移到雪花。有一张红移表,由 S3 文件加载。将文件加载到红移的语法是

copy edfenormalisedconfzone.address_1
from 's3://aws-d**/addr**.dat' 
 iam_role 'arn:aws:iam::659**:role/AWS_dub_**'
delimiter '~' REMOVEQUOTES ACCEPTINVCHARS gzip MAXERROR 1  null as 'NULL' EXPLICIT_IDS;

sNowflake 中对应的命令是

copY INTO "FLK_dub_DB_DATALAKE_PRE"."EDFEnorMALISEDCONFZONE"."ADDRESS1"
from @FLK_dub_DB_DATALAKE_PRE.S**.FLK**/SNowFLAKE/ad**.dat0005_part_00.gz
FILE_FORMAT = (TYPE = CSV,FIELD_DELIMITER = '~',NULL_IF = ('NULL','NULL')
FIELD_OPTIONALLY_ENCLOSED_BY = '"'
EMPTY_FIELD_AS_NULL = FALSE
COMPRESSION = GZIP
ENCODING = 'UTF8' 
FILE_EXTENSION=DAT)
ON_ERROR = ABORT_STATEMENT;

文件加载到 Red-Shift 没有问题,但是文件无法加载到雪花中,经过进一步检查,我们发现表中的邮政编码字段在 tilda(~) 之后有两个双引号 ("") )

enter code here:47"~""W!U """"""RU""~" "

我们正在将 Red Shift 文件格式转换为雪花文件格式,但不确定为什么这在雪花中不起作用。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。