微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

hadoop discp输出复制状态到控制台

如何解决hadoop discp输出复制状态到控制台

我正在使用hadoop distcp将400 + GB的某些文件一个群集复制到另一个群集。

distcp运行时,它会向控制台生成一些输出包括地图并减少进度。问题是它只是直接跳到100%地图完成,但是当我在资源管理器中检查distcp作业时,我看到状态说“ 50.0%将hdfs:// cluster-a / path / to / file复制到hdfs:/ / cluster-b / path / to / file [200.0G / 400.0G]>地图”,并将定期进行自我更新。

有什么办法让distcp将此状态消息输出到控制台,以便我可以看到副本的真实进度吗?我查看了distcp文档,但找不到任何有关状态的信息。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。