如何解决在运行数据流模板时指定--diskSizeGb
我正在尝试使用Google数据流模板将数据从Bigtable导出到Google Cloud Storage(GCS)。我正在关注gcloud命令的详细信息here。但是,在运行时,我收到警告和相关的错误,其中suggested fix要添加工作程序(--numWorkers),增加连接的磁盘大小(--diskSizeGb)。但是,我看不到在传递这些参数时执行Google提供的模板的方法。艾米,我想念什么吗?
查看separate question,看来有一种方法可以做到。有人可以解释如何?
解决方法
像
numWorkers
和diskSizeGb
这样的参数是Dataflow wide pipeline options。您应该可以像这样指定它们
gcloud dataflow jobs run JOB_NAME \
--gcs-location LOCATION --num-workers=$NUM_WORKERS --diskSizeGb=$DISK_SIZE
让我知道您是否还有其他疑问
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。