微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如何在 AWS Glue 中将字符串转换为日期?

如何解决如何在 AWS Glue 中将字符串转换为日期?

当我在 S3 存储桶中的 parquet/csv 文件上从 glue 运行爬虫时,它将日期作为字符串。我更改了编辑模式并将其设置为日期。不仅是日期,而且它不会更改编辑架构中的任何数据类型。当我从 Athena "select order_date from parque_sales" 发出查询时,错误是:

HIVE_BAD_DATA:parquet 中字段 order_date 的 BINARY 类型是 与表架构中定义的类型日期不兼容

我也尝试过在 glue Studio 中更改架构,结果是一样的!

提前致谢!请帮忙!

解决方法

您的文件似乎将日期存储为镶木地板中的字符串,而不是日期。爬网程序仍将这些作为字符串值接收,并且在将源架构与定义的架构进行比较时失败。

为避免此问题,您应该在 athena 查询中使用显式转换。像这样:

select date_parse(datestring,'%Y-%m-%d %h:%i:%s')

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。