微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

GCP Cloud Scheduler 不执行 Jupyter Notebook

如何解决GCP Cloud Scheduler 不执行 Jupyter Notebook

我在 GCP AI Notebook 功能下创建了一个 Jupyter Notebook。此笔记本执行一些简单的操作并将 CSV 写入 GCP 存储桶。

from google.cloud import bigquery
from google.cloud import storage
from datetime import datetime

client = bigquery.Client()

Now = datetime.Now()
dt_string = Now.strftime("%d%m%Y%H%M%s")


testbucket = 'gs://test1/' + 'test_' + dt_string + '.csv'

query = """
SELECT * FROM SOME_TABLE
"""

df = client.query(query).to_dataframe()
df.to_csv(testbucket)

如果我在 AI Notebook 中手动执行此操作,它会按预期工作。我可以在 gcp 云调度程序中调用它,运行时日志显示它运行成功。但是,当调度程序调用它时,它似乎实际上不起作用。输出不在定义的存储桶中。

我的印象是,任何试图运行它的东西都不是笔记本的虚拟机,并且没有这些软件包可用?但是为什么日志没有显示错误?我该如何诊断和解决这个问题?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。