如何解决Hive 更新分区与 MSCK 修复
我有一个包含数千个分区的表。我想将所有分区位置更改为 diff 集群。
例如:
对于表 test_table 和分区 day=2021041600
旧位置:hdfs://cluster1/dir1/dir2/day=2021041600/\<files>
新位置:hdfs://cluster2/dir1/dir2/day=2021041600/\<files>
我可以通过两种方式实现这一点。
- 我们可以获取所有分区的列表并逐一更新每个分区的分区位置。
- 我们可以更改表的基本位置并对表运行 MSCK 修复命令。
我的问题是我们应该采取哪种更好的方法?
解决方法
第一种方法可行。
第二种方法(MSCK 修复):
如果您更改表位置,MSCK REPAIR
将不起作用,因为分区已安装到表位置之外的旧位置。
使用新位置创建表 EXTERNAL、DROP、CREATE,运行 MSCK REPAIR:
alter table test_table SET TBLPROPERTIES('EXTERNAL'='TRUE');
drop table test_table;
create table test_table ... location 'hdfs://cluster2/dir1/dir2';
MSCK REPAIR TABLE test_table;
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。