如何解决Hadoop映射器发出一个唯一密钥可以在每个地图之后执行reducer吗?
| 我的映射器发出 \'uniq键\'-'非常大的值'对。 我的减速器不知道键是唯一的。 因此,reducer等待直到所有映射器完成。 我尝试使用组合器,但这对我来说不是一个简单的解决方案,因为我的减速器非常复杂。 我的问题是每张地图后如何执行减速器?无需使用组合器。解决方法
如果您的键是uniq,则无需减少它们。因此,只需将简化器代码复制粘贴到映射器,并将简化器号设置为零。顺便说一句,有很多地图缩小工作不需要缩小步骤,所以这并不奇怪。
, 如果您事先知道您的密钥是唯一的,那么您可以将所有代码从化简步骤转移到映射中,并移至该映射中的所有工作。
, 我不明白你的问题。您根本无法在Job配置中指定组合器。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。