在 Athena 中创建外部表时出现数据错误

如何解决在 Athena 中创建外部表时出现数据错误

我的 CSV 格式数据如下：

Id -> tinyint

名称 -> 字符串

  Id  Name
  1   Alex
  2   Sam

当我将 CSV 文件导出到 S3 并创建一个 Athena 表时，数据会转换为以下格式。

 Id   Name
 1    "Alex"
 2    "Sam"

如何在创建表格时去掉双引号？

感谢任何帮助。

解决方法

默认情况下，如果未指定 SerDe，Athena 使用 LasySimpleSerDe，它不支持引用值并将引用作为值的一部分读取。如果您的 CSV 文件包含引用值，请使用 OpenCSVSerde（如果不是逗号，请指定正确的 separatorChar）：

CREATE EXTERNAL TABLE mytable(
  id   tinyint,Name string
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES (
 'separatorChar' = ',','quoteChar' = '\"','escapeChar' = '\\'
)
LOCATION 's3://my-bucket/mytable/' 
;

阅读手册：https://docs.aws.amazon.com/athena/latest/ug/csv-serde.html 另请参阅有关 data types in OpenCSVSerDe

的答案