微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

从“减少输入记录”到“减少输入组”

如何解决从“减少输入记录”到“减少输入组”

|| 运行MapRed作业后,我们将获得有关该作业的一些摘要,例如:
...
reduce input records: 10
reduce input groups: 3
...
我知道这是由重复的组合键引起的。我的问题是reducer用来合并记录的方法是什么? key1.equals(key2)或key1.hashCode == key2.hashCode? 谢谢。     

解决方法

        由于关键字必须实现WritableComparable,因此仅compareTo。 partition1 reasons用于分区。等于将永远不会被使用。     ,        减速器通常不合并记录。对于从映射器发出的每个键(不必并行)执行一个化简器。 减少输入组是输入到 减速器。减少输入记录是值的数量。每个键都有 与它关联的一个或多个值进入减速器。     

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。