如何解决如何删除/hadoop/hdfs/journal/hdfsha/current/下的超大文件
在我们的 HDP 集群中 - 版本 2.6.5,使用 ambari 平台
我们注意到 /hadoop/hdfs/journal/hdfsha/current/
文件夹包含大文件和超过 1000 个文件
-rw-r--r--. 1 hdfs hadoop 494690334 Dec 28 11:37 edits_0000000017251672645-0000000017253719335
-rw-r--r--. 1 hdfs hadoop 524892007 Dec 28 12:37 edits_0000000017253719336-0000000017255810613
-rw-r--r--. 1 hdfs hadoop 509365350 Dec 28 14:17 edits_0000000017255810614-0000000017258005682
-rw-r--r--. 1 hdfs hadoop 526756290 Dec 28 15:07 edits_0000000017258005683-0000000017260117992
为了尽量减少日志编辑日志,我们可以使用以下作为 HDFS ( hdfs-site.xml ) 的一部分
我们不确定 - dfs.namenode.num.extra.edits.retained
的含义是不是只保留 100 个文件
请建议以下配置是否有助于清除
中的额外日志文件dfs.namenode.num.extra.edits.retained=100
dfs.namenode.max.extra.edits.segments.retained=1
dfs.namenode.num.checkpoints.retained=1
解决方法
要清除 jornal edit 占用的空间,您就走上了正轨。但是,这些值太小了,如果出现问题,您可能会丢失数据。
dfs.namenode.num.extra.edits.retained
和 dfs.namenode.max.extra.edits.segments.retained
的默认值分别设置为 1000000
和 10000
。
我建议以下值:-
dfs.namenode.num.extra.edits.retained=100000
dfs.namenode.max.extra.edits.segments.retained=100
dfs.namenode.num.checkpoints.retained=2
您可以找到所有这些参数的详细信息 here,这些值可以是任何值,具体取决于您必须选择的环境。
,有同样的问题,编辑开始在 NN 和日志节点中积累。原来,standBy NN 已经死了。阅读文档,发现编辑的合并和清理是standBy NN的责任。
在非 HA 模式下,执行此操作的是 SecondaryNN。
所以请确保您的备用/辅助 NN 运行正常。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。