微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如何用 Big Query 物化视图替换 SQL“WITH”

如何解决如何用 Big Query 物化视图替换 SQL“WITH”

我正在尝试对 Big Query 执行一些探索性数据分析,但遇到了问题。我的 sql 知识相当不发达,在 BQ 方面更是如此。这段代码


DECLARE columns ARRAY<STRING>;
DECLARE query STRING;
SET columns = (
  WITH all_columns AS (
    SELECT column_name
    FROM `your-client.staging.informatION_SCHEMA.COLUMNS`
    WHERE table_name = 'churn'
  )
  SELECT ARRAY_AGG((column_name) ) AS columns
  FROM all_columns
);

SET query = (select STRING_AGG('(select count(distinct '||x||')  from `your-client.staging.churn`) '||x ) AS string_agg from unnest(columns) x );
EXECUTE IMMEDIATE 
"SELECT  "|| query
;

是我正在尝试使用的作品。它在 kagglechurn 数据集(14 列和 10k 行)上运行,但我的要大得多(145 列和 ~72m)行。尽管人口稀少,但我收到以下错误

Resources exceeded during query execution: Not enough resources for query planning - too many subqueries or query is too complex.. at [1:1]

我听说解决这个问题的一个方法是使用物化视图来创建临时表,而不是使用 WITH,但我不知道从哪里开始。

对此或任何其他解决方案的任何帮助将不胜感激。

非常感谢!

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其他元素将获得点击?
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。)
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbcDriver发生异常。为什么?
这是用Java进行XML解析的最佳库。
Java的PriorityQueue的内置迭代器不会以任何特定顺序遍历数据结构。为什么?
如何在Java中聆听按键时移动图像。
Java“Program to an interface”。这是什么意思?