如何解决Hive Tez查询失败,并出现java.io.IOException
执行长时间运行的Hive Tez查询,它很少会因以下原因而失败:
java.io.IOException: File hdfs://XXX with newer attempt ID 1 is smaller than the file hdfs://YYY with older attempt ID 0
在我们的20节点HDP 3.1.5集群(Hive 3.1.0和Tez 0.9.1)中,它在执行大约200次后失败一次
解决方法
我们在哪里击中HIVE-23354
似乎没有解决方法。它在Hive 4.0.0中解决了
,我在查询有很多大连接时遇到了同样的问题。减少(在我的情况下为 512 mb-> 16 mb)适合内存的表的大小,即 hive.auto.convert.join.noconditionaltask.size
为我解决了这个问题。
堆栈:HDP 3.1.4、Tez 0.9.1、Hive 3.1.0。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。