如何解决合并输出文件时出现java.lang.NullPointerException
我有一个包含 3 个分区列的表
create table tn(
col1 string,etc...
)
partitioned by (
time_key date,region string,city string
)
stored as orc
tblproperties ("orc.compress"="ZLIB");
城市分区可以从几 mb 到几百 mb。我正在尝试优化存储,以便将所有小文件合并为一个大小为 128mb 的文件,并相应地拆分较大的文件。
源表有 200 个文件,每个文件大约 150 mb。它没有分区。
我为此做了一个简单的插入语句。
INSERT INTO TABLE tn PARTITION (time_key,region,city)
SELECT * FROM source_tn;
使用以下设置并得到此错误 NullPointerException
。
set hive.merge.tezfiles=true;
set hive.merge.smallfiles.avgsize=128000000;
set hive.merge.size.per.task=128000000;
set hive.merge.orcfile.stripe.level=true;
set hive.auto.convert.join=false;
如果我在没有这些设置的情况下尝试插入,效果很好,所以数据没有任何问题。这种情况下的问题是每个 city
子分区包含大约 200 个文件。 time_key
分区中的文件总数达到 30-40 万个。
有什么问题,我该怎么办?
我正在使用 hive tez。
解决方法
将此设置为 false 有帮助。
set hive.merge.orcfile.stripe.level=false;
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。