微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Parquet 中的 Athena 类型 INT64 与表架构中定义的类型 double 不兼容

如何解决Parquet 中的 Athena 类型 INT64 与表架构中定义的类型 double 不兼容

我已使用 pyspark 推断架构将数据从 csv 转换为 parquet 文件格式,并尝试使用 Athena 读取数据。

    df.printSchehma()
    test_num : double (nullable = true)

当我们使用 glue 爬虫创建表时,Athena 也使用双数据类型,我们无法查询具有以下问题的表。

错误

   test_num : type INT64 in parquet is incompatible with type double defined in table schema

有什么建议可以解决这个问题吗?感谢您的帮助。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。