如何解决火花停止后，阿兹卡班的工作没有完成
我使用 azkaban 运行 spark 作业，在使用 com.lucidworks.spark SparkSupport 更改为索引到 solr 后，azkaban 中的作业没有完成。
更改前的最后一行日志：
22-04-2021 15:08:57 CEST indexer INFO - zkClient has connected
22-04-2021 15:08:57 CEST indexer INFO - Updated live nodes from ZooKeeper... (0) -> (2)
22-04-2021 15:08:57 CEST indexer INFO - Cluster at x.x.x.x,x.x.x.x,x.x.x.x ready
22-04-2021 15:08:57 CEST indexer INFO - EventThread shut down
22-04-2021 15:08:57 CEST indexer INFO - Stopped Spark@5626d18c{HTTP/1.1,[http/1.1]}{0.0.0.0:4040}
22-04-2021 15:08:58 CEST indexer INFO - Process completed successfully in 443 seconds.
22-04-2021 15:08:58 CEST indexer INFO - output properties file=/home/spark/azkaban-solo-server-3.48.0-4-g9a42cb20/executions/2324/importer2/indexer_output_1529571608051881978_tmp
22-04-2021 15:08:58 CEST indexer INFO - Finishing job indexer at 1619096938782 with status SUCCEEDED
更改后的最后一行：
26-04-2021 11:17:11 CEST indexer INFO - zkClient has connected
26-04-2021 11:17:11 CEST indexer INFO - Updated live nodes from ZooKeeper... (0) -> (2)
26-04-2021 11:17:11 CEST indexer INFO - Cluster at x.x.x.x ready
26-04-2021 11:17:14 CEST indexer INFO - Opened connection [connectionId{localValue:6,serverValue:8963484}] to 195.201.220.241:27017
26-04-2021 11:17:22 CEST indexer INFO - Stopped Spark@45e9b12d{HTTP/1.1,[http/1.1]}{0.0.0.0:4041}
火花作业已完成并完全完成，我在 spark-master UI 中看到，但在 azkaban 中，该进程仍然存在并且仅被调度最大运行时间杀死。 我不知道为什么，你能帮我吗？
谢谢
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
