如何解决如何解决“org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in localfetcher#1”
所以我正在为一个使用 MapReduce 的课程做这个项目。为了测试一切是否正常工作，我们必须设置 Java 8 和 Maven 3.6.3。为了检查一切是否正常，我们必须运行
mvn -DskipTests install
这运行完美，maven 输出“构建成功”。但是，当我运行讲师提供的本地测试时，它给出了一条错误消息。我跑了
mvn -Dtest=nl.uva.bigdata.hadoop.exercise1.WordCountLocalTest test
不确定测试的方式是否相关，但以防万一。下面的错误信息是
错误测试： countWords(nl.uva.bigdata.hadoop.exercise1.WordCountLocalTest): C:\Users\MEGIEL~1\AppData\Local\Temp\mahout-WordCountLocalTest-4945559833306780672\output\part-r-00000 (系统找不到文件指定）
2021-02-12 20:27:32,313 WARN [Thread-3] mapred.LocalJobRunner (LocalJobRunner.java:run(560)) - job_local770835545_0001 java.lang.Exception: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: shuffle in localfetcher#1 错误 在 org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:462) 在 org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:529) 引起：org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in localfetcher#1
我在 stackOverflow 上发现了类似的问题，但那里提出的解决方案对我没有帮助。我将此添加到一个名为 HadoopJob 的文件中，其中正在配置许多有关“作业”的设置。
job.getConfiguration().setStrings("mapreduce.reduce.shuffle.memory.limit.percent","0.15");版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
