微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

AWS Athena 不返回任何行

如何解决AWS Athena 不返回任何行

我已经使用 terraform 创建了 athena 数据库和表,创建成功,但是当我在 AWS 控制台中点击预览表时,没有显示任何行。

我的数据文件在 s3 存储桶“s3://somefolder/subfolder/subfolder1/sampledata.csv”中。使用 aws 向导使用 s3 创建表,没有问题。我可以使用 terraform created 预览表格等,没有显示行。

文件类型 - csv

resource "aws_glue_catalog_table" "s3-input" {
  name = "my_employee_table_poc"
  database_name = aws_glue_catalog_database.my_db.name
  table_type = "EXTERNAL_TABLE"

  storage_descriptor {
    location = "s3://somefolder/subfolder/subfolder1"
    input_format = "org.apache.hadoop.mapred.TextInputFormat"
    output_format = "org.apache.hadoop.hive.ql.io.HiveIgnoreKeytextoutputFormat"

  /*  ser_de_info {
            name    = "SerDeCsv"
            serialization_library = "org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe"
           
    */

    ser_de_info {
    name = "my-first-serde"
    serialization_library = "org.openx.data.jsonserde.JsonSerDe"
    #serialization_library = "org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe"
  

    parameters = {
      "serialization.format" = 1
 
     }
 }

解决方法

谢谢指出。使用下面的 csv 文件类型更新了序列化,并且它起作用了。

serialization_library = "org.apache.hadoop.hive.serde2.OpenCSVSerde"

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。