微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

创建 Athena 表时如何处理 json 文件中的文件名中的空格

如何解决创建 Athena 表时如何处理 json 文件中的文件名中的空格

我的 Json 文件的字段名称中带有空格,例如“客户 ID”。json 文件位于 S3 存储桶中。因此,当我尝试在此 json 文件上创建 Athena 表时,它会引发我的错误,因为字段名称有空格。当加载时删除带有空格的字段时,它加载良好。我该如何处理这种情况,以便正确加载整个数据。

解决方法

如果您有机会将您的 json 文件转换为 csv

您可以尝试以下操作:

CREATE EXTERNAL TABLE IF NOT EXISTS db.table_name (
    .......
    `Customer_ID` int,   .......
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES (
    'separatorChar' = ',','quoteChar' = '\"',   
    'escapeChar' = '\\' ) 
STORED AS TEXTFILE LOCATION 's3://location'
TBLPROPERTIES ('skip.header.line.count'='1')

主要思想是 - TBLPROPERTIES ('skip.header.line.count'='1')在这里您跳过 .csv 文件中的标题并设置您的自定义列名称强>

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。