如何解决GCP - CDAP - Dataproc 集群卡在运行状态
我们有一个由 Cloud Composer DAG 触发的 DataFusion 管道。此管道提供了一个临时 DataProc 集群,该集群 - 在理想情况下 - 在完成任务后终止。
在我们的例子中,有时,并非总是如此,这个短暂的 DataProc 集群会停留在运行状态。集群内部的job也处于running状态,最后的日志信息如下:
INFO runtimejob.DataprocJobMain: Invoking initialize() on io.cdap.cdap.runtime.spi.runtimejob.DataprocRuntimeEnvironment with spark2_2.11
INFO runtimejob.DataprocJobMain: Invoking run() on io.cdap.cdap.internal.app.runtime.distributed.runtimejob.DefaultRuntimeJob
INFO runtimejob.DataprocJobMain: Invoking destroy() on io.cdap.cdap.internal.app.runtime.distributed.runtimejob.DefaultRuntimeJob
INFO runtimejob.DataprocJobMain: Runtime job completed.
Exception: java.lang.NoClassDefFoundError thrown from the UncaughtExceptionHandler in thread " STARTING-SendThread(cdap-<our-identifier>-1f11111b-1d11-11eb-b1a1-1a111fb11d11-m.c.<our-gcp-project-name>.internal:41409)"
Exception: java.lang.NoClassDefFoundError thrown from the UncaughtExceptionHandler in thread "threadDeathWatcher-2-1"
在 DataFusion 端,管道标记为成功。 DataFusion 日志如下:
Completed DEPROVISION subtask REQUESTING_DELETE for program run program_run: <data_fusion_namespace>.<pipeline_name>.-SNAPSHOT.workflow.DataPipelineWorkflow.<data_proc_id> //this message is repeated many-many times
DEBUG [provisioning-service-4:i.c.c.c.s.Retries@197] - Retries exhausted after 1 failures and 14 ms.
知道是什么导致了这个问题吗?
ps:消息中的标识符被替换为随机值
解决方法
您运行的是哪个版本的 Datafusion?此外,Dataproc 集群的内存量是多少?有时我们会在 Dataproc 集群内存不足时观察到此问题。我建议增加内存量。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。