如何解决运行WordcCount示例DataFlow Runner
我将在DataFlow Runner上执行我的Wordcount项目,我使用Beam文档中的命令,但出现此错误:
auth: {
user: "xxx@yyy.com",pass: "password",},from: xxx@yyy.com,
我无法解决此问题,我在执行命令之前已遵循所有步骤,但最终无法运行。 ############################################### ############################################ ############################################### #######################################
解决方法
通过遵循Dataflow中的documentation,尝试在新文件夹或空文件夹中重现Wordcount项目。
首先,您必须通过在GCP Shell中运行mvn archetype:generate
command来创建一个包含Apache Beam SDK的WordCount的Maven项目。
mvn archetype:generate \
-DarchetypeGroupId=org.apache.beam \
-DarchetypeArtifactId=beam-sdks-java-maven-archetypes-examples \
-DarchetypeVersion=2.23.0 \
-DgroupId=org.example \
-DartifactId=word-count-beam \
-Dversion="0.1" \
-Dpackage=org.apache.beam.examples \
-DinteractiveMode=false
命令运行后,转到名为word-count-beam
的新目录,该目录已经包含pom.xml
文件。最后,使用以下命令在数据流服务上build and run进行字数统计:
mvn -Pdataflow-runner compile exec:java -Dexec.mainClass=org.apache.beam.examples.WordCount -Dexec.args="--project=<PROJECT_ID> \
--gcpTempLocation=gs://<BUCKET_NAME>/tmp/ \
--stagingLocation=gs://<BUCKET_NAME>/staging/ \
--output=gs://<BUCKET_NAME>/output \
--runner=DataflowRunner \
--inputFile=gs://<BUCKET_NAME>/test.txt \
--region=us-west1"
您可以在dataflow和bucket storage中验证结果
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。