如何解决HBase logcleaner 不会删除 oldWALs 文件
在我的实验室中,HBase 归档预写日志,即 oldWALs 文件未被删除,并且 oldWALs 目录以 TB 级快速增长。
8.1 K 24.4 K /hbase/.hbase-snapshot
0 0 /hbase/.hbck
0 0 /hbase/.tmp
3.6 K 10.7 K /hbase/MasterProcWALs
900.3 M 7.1 G /hbase/WALs
3.4 G 10.3 G /hbase/archive
0 0 /hbase/corrupt
938.7 G 2.8 T /hbase/data
42 84 /hbase/hbase.id
7 14 /hbase/hbase.version
4.9 T 4.9 T /hbase/oldWALs
0 0 /hbase/staging
尝试以下选项进行清理;但没有运气。
- 更新的复制在 hbase 主服务器上为 false 并重新启动
- 将 ttl 减少到 1 秒
- 没有同行
- 多次重启 HBase 组件。
解决方法
我尝试了以下属性,然后删除了大约 1 TB 的 oldWALs 文件。
hbase.cleaner.scan.dir.concurrent.size=1 (default is 0.25).
hbase.oldwals.cleaner.thread.size=10 ( default is 2)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。