如何解决ZK hbase 复制节点呈指数增长,尽管 hbase 数据为对等点正确复制
在 hbase-1.4.10 中,我为所有表启用了复制并配置了 peer_id。 list_peers 提供以下结果:
hbase(main):001:0> list_peers
PEER_ID CLUSTER_KEY ENDPOINT_CLASSNAME STATE TABLE_CFS BANDWIDTH
1 10.XX.221.XX,10.XX.234.XX,10.XX.212.XX:2171:/hbase nil ENABLED nil 0
1 row(s) in 0.1430 seconds
但是 status_replication 显示复制滞后
hbase(main):002:0> status 'replication'
version 1.4.10
3 live servers
10.XX.232.XX:
SOURCE: PeerID=1,AgeOfLastShippedOp=0,SizeOfLogQueue=1,TimeStampsOfLastShippedOp=Thu Jan 01 05:30:00 IST 1970,Replication Lag=**1619545264329**
SINK : AgeOfLastAppliedOp=0,TimeStampsOfLastAppliedOp=Tue Apr 27 23:09:23 IST 2021
10.XX.118.XX:
SOURCE: PeerID=1,Replication Lag=**1619545264663**
SINK : AgeOfLastAppliedOp=0,TimeStampsOfLastAppliedOp=Tue Apr 27 18:53:23 IST 2021
10.XX.138.XX:
SOURCE: PeerID=1,Replication Lag=**1619545263509**
SINK : AgeOfLastAppliedOp=0,TimeStampsOfLastAppliedOp=Tue Apr 27 10:31:05 IST 2021
但所有数据都正确复制到定义的集群中。我已经检查了两个集群中的表格。
我已使用VerifyReplication Mapreduce 进行验证以检查未复制的行。但是未复制的行中没有行。都是好行。
./hbase org.apache.hadoop.hbase.mapreduce.replication.VerifyReplication 1 tablename
org.apache.hadoop.hbase.mapreduce.replication.VerifyReplication$Verifier$Counters
GOODROWS=45
File Input Format Counters
Bytes Read=0
File Output Format Counters
Bytes Written=0
由于这个问题,我复制的 Zknodes 呈指数增长,这导致运行 ZK 集群时出现问题,最终也会影响 Hbase 连接。 ZK中出现以下异常
错误 java.io.IOException: Len 错误
在 ZK 中增加 jute.maxbuffer 不会解决问题,因为尽管数据已正确复制到给定的集群 Peer_id,但复制 znode 正在增加。
我已启用集群之间的双向复制。它发生在两个集群中。
hbase version - 1.4.10
ZK Version - 3.4.10
Hadoop version - 2.7.3
请帮忙解决这个问题。
解决方法
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。