如何解决如何用 Big Query 物化视图替换 SQL“WITH”
我正在尝试对 Big Query 执行一些探索性数据分析,但遇到了问题。我的 sql 知识相当不发达,在 BQ 方面更是如此。这段代码:
DECLARE columns ARRAY<STRING>;
DECLARE query STRING;
SET columns = (
WITH all_columns AS (
SELECT column_name
FROM `your-client.staging.informatION_SCHEMA.COLUMNS`
WHERE table_name = 'churn'
)
SELECT ARRAY_AGG((column_name) ) AS columns
FROM all_columns
);
SET query = (select STRING_AGG('(select count(distinct '||x||') from `your-client.staging.churn`) '||x ) AS string_agg from unnest(columns) x );
EXECUTE IMMEDIATE
"SELECT "|| query
;
是我正在尝试使用的作品。它在 kaggle 的 churn 数据集(14 列和 10k 行)上运行,但我的要大得多(145 列和 ~72m)行。尽管人口稀少,但我收到以下错误:
Resources exceeded during query execution: Not enough resources for query planning - too many subqueries or query is too complex.. at [1:1]
我听说解决这个问题的一个好方法是使用物化视图来创建临时表,而不是使用 WITH
,但我不知道从哪里开始。
对此或任何其他解决方案的任何帮助将不胜感激。
非常感谢!
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。