如何解决athena presto - 基于多个嵌套结构的过滤器
这里是数据结构：
from selenium.webdriver.support.ui import webdriverwait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
我想做的是在 TEST: array (nullable = true)
| |-- element: struct (containsNull = true)
| | |-- id: string (nullable = true)
| | |-- name: string (nullable = true)
| | |-- TEST2: array (nullable = true)
| | | |-- element: struct (containsNull = true)
| | | | |-- title: string (nullable = true)
我可以为第一级的 TEST2.title = 'A' 执行此操作，但在第二个嵌套数组（结构）中执行此操作时遇到问题
这是我在第一级过滤的解决方案。这也可能效率低下：
从表中选择 TEST 其中基数（过滤器（测试，e -> e.name = 'A'））> 0
注意：name 在 Athena Presto 中不可用
解决方法
您可以通过将外部数组映射 (transform) 到其内部数组来实现这一点，此时您有一个数组[array[t]]。然后，如果您调用 flatten()，它会转换一个数组 [array[t]] -> array[t]，您可以对其做出决定。应该看起来像这样：
where cardinality(filter(flatten(transform(test,e -> e.test2)),e -> e.title = 'A')) > 0
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
