微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

java – 从集群获取现有的mapreduce作业(作业可以运行或完成)

以前,我正在使用org.apache.hadoop.mapred.JobClient#getJob(org.apache.hadoop.mapred.JobID)获取RunningJob.这个调用是从作业完成回调方法进行的,但是对我来说,有一个时间问题,如果作业已经完成,那么上面的getJob()方法找不到并返回null.我可以确认该作业是否已从集群UI完成.

保持RunningJob是分开的,是否有一种方法获取给定org.apache.hadoop.mapreduce.JobID的映射作业的org.apache.hadoop.mapreduce.Job对象,无论作业当前正在运行还是完成?

我试着编写如下代码

Cluster cluster = jobClient.getClusterHandle();
Job job = cluster.getJob(JobID.forName(jobId));
log.info(“尝试使用id {},在集群{}上找到{},JobID.forName(jobId),作业,集群)获取实际工作;

我可以看到正确的jobId,也可以看到集群对象..但是cluster.getJob()方法返回null,所以作业本身为null.

有没有我在这里错过的东西?

解决方法

最近的纱线升级需要在我的系统上启用MR历史记录服务器.这解决了这个问题.我最近从MR v1升级到v2,在升级中,所有已完成的作业现在都被移动到历史服务器.

原文地址:https://www.jb51.cc/java/124717.html

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐