微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

是否有适用于 S3 平面文件数据的数据如 SQL 统计的 AWS Athena 元数据?

如何解决是否有适用于 S3 平面文件数据的数据如 SQL 统计的 AWS Athena 元数据?

AWS Athena 是否有系统表/视图/函数来报告 S3 平面文件中包含的数据的元数据?

我正在尝试在 AWS athena 中为 S3 中平面文件中保存的数据创建数据质量/覆盖率查询。我可以找到简单的行数,但更高级的东西似乎很难或效率低下。

我来自 MSsql 背景,我可以在其中查询统计信息和索引元数据以查找列的填充情况、NULLS 百分比或最小值、最大值和平均值。

我会使用这种方法来报告 glue 表“Table_A”有 x 行,

Col1 是 100% 填充的,没有空值,最小 val y,最大 val z,平均 val aa。 Col2 已填充 40%,允许 NULL,min val ab,max val ad,avg val NULL

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。