如何解决不能将试运行参数与 big_query 挂钩一起使用
Bigquery 查询作业提供了在实际运行之前先试运行查询的选项。它有助于了解计费以及将在 BigQuery 中处理的数据量。以下是 QueryRequest 的片段:
{
"kind": string,"query": string,"maxResults": integer,"defaultDataset": {
object (DatasetReference)
},"timeoutMs": integer,"dryRun": boolean,"preserveNulls": boolean,...
我试图在 google-cloud-composer 中的 BigQueryHook 的帮助下使用dry-run 参数,但我没有任何运气。 下面是我的代码片段:
def execute_sql(**kwargs):
bq_hook = BigQueryHook(bigquery_conn_id='bigquery_default')
bq_conn = bq_hook.get_conn()
bq_cursor = bq_conn.cursor()
#bq_cursor = BigQueryConnection(**kwargs).cursor()
dryrun_sql = "select * from `{project}.{dataset}.{table}` where utcdate_='2021-01-01'"
output = bq_cursor.run_with_configuration({'query':{"query": dryrun_sql,'useQueryCache':False,'useLegacysql':False,'dryRun':True}})
utils.format_logging("job info: {},Bytes processed: ".format(output))
return None
输出返回一个 bigquery job_id。我正在使用 job_id 来点击 BigQuery jobs.get api 来分析查询结果。在那里我可以看到我为查询付费,所以我可以推断出dry-run 参数实际上没有运行。
任何人都可以帮助如何使用 big_query 钩子中的dry-run 参数或提供替代解决方案???
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。