如何解决hive alter table concatenate command risk
我一直在使用 tez 引擎来运行 map reduce 作业。我有一个需要很长时间才能运行的 MR 作业，因为我注意到我有超过 20k 个文件，每个文件有 1 个条带，并且 tez 没有根据文件数量均匀分布映射器，而是根据条带数量。我可以有一堆映射器，其中包含 1 个文件但有很多条带，还有一些映射器处理 15k 个文件但条带数量与另一个相同。
作为一种变通方法测试，我使用了 ALTER TALE table PARTITION (...) CONCATENATE 来减少要处理的文件数量，使每个文件的条带分布更均匀，现在地图作业运行得非常好。
我担心的是，我没有在文档中找到运行此命令和丢失数据是否有任何风险，因为它适用于相同的文件。
我正在尝试评估在 MR 作业之前使用连接来减少文件数量是否更好，而不是使用分桶读取文件并将分桶输出放入单独的位置。万一失败，我不会丢失源数据。
连接每个分区需要 1 分钟，而分桶需要更多时间但不会冒丢失源数据的风险。
我的问题：运行 concatenate 命令时是否有数据丢失的风险？
谢谢！
解决方法
它应该像从查询中重写表一样安全。它使用相同的机制：先在 staging 中准备结果，然后将 staging 移动到表或分区位置。
串联作为单独的 MR 作业工作，在暂存目录中准备串联文件，并且仅当一切正常时，将它们移动到表位置。您应该在日志中看到类似的内容：
INFO : Loading data to table dbname.tblName partition (bla bla) from /apps/hive/warehouse/dbname.db/tblName/bla bla partition path/.hive-staging_hive_2018-08-16_21-28-01_294_168641035365555493-149145/-ext-10000
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
