微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithRetries(RpcRetryingCaller.java:157)

如何解决org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithRetries(RpcRetryingCaller.java:157)

我有 flink 应用程序,它可以读取和写入数据到 Hbase。每个事件都会读取和写入 Hbase。因此,对 hbase table 的调用过多。当负载很高时,会出现延迟,日志显示以下异常。我应该使用哪些参数来避免 Hbase 上的此类异常

org.apache.hadoop.hbase.client.RetriesExhaustedException:尝试=3 后失败,异常: 2021 年 5 月 17 日星期一 03:28:41 CDT,RpcretryingCaller{globalStartTime=1621240111355,pause=1000,retries=3},java.io.IOException:调用 XXXXXXXXXX1:16020 因本地异常而失败:org.apache.hadoop.h ipc.CallTimeoutException: Call id=23,waitTime=10001,operationTimeout=10000 已过期。 Mon May 17 03:28:52 CDT 2021,RpcretryingCaller{globalStartTime=1621240111355,pause=1000,retries=3},java.io.IOException: Call to XXXXXXXXX:16020 Failed on local exception: org.apache.hadoop.hbase ipc.CallTimeoutException: Call id=25,waitTime=10002,operationTimeout=10000 已过期。 2021 年 5 月 17 日星期一 03:29:04 CDT,RpcretryingCaller{globalStartTime=1621240111355,retries=3},java.io.IOException:调用 XXXXXXXX:16020 因本地异常而失败:org.apache.hadoop.hbase ipc.CallTimeoutException: Call id=27,operationTimeout=10000 已过期。

at org.apache.hadoop.hbase.client.RpcretryingCaller.callWithRetries(RpcretryingCaller.java:157)
at org.apache.hadoop.hbase.client.HTable.get(HTable.java:865)
at org.apache.hadoop.hbase.client.HTable.get(HTable.java:831)
at XXXXXXXXX    org.apache.flink.streaming.api.operators.KeyedProcessOperator.processElement(KeyedProcessOperator.java:85)
at org.apache.flink.streaming.runtime.tasks.OneInputStreamTask$StreamTaskNetworkOutput.emitRecord(OneInputStreamTask.java:161)
at org.apache.flink.streaming.runtime.io.StreamTaskNetworkInput.processElement(StreamTaskNetworkInput.java:178)
at org.apache.flink.streaming.runtime.io.StreamTaskNetworkInput.emitNext(StreamTaskNetworkInput.java:153)
at org.apache.flink.streaming.runtime.io.StreamOneInputProcessor.processInput(StreamOneInputProcessor.java:67)
at org.apache.flink.streaming.runtime.tasks.StreamTask.processInput(StreamTask.java:351)
at org.apache.flink.streaming.runtime.tasks.mailBox.MailBoxProcessor.runMailBoxLoop(MailBoxProcessor.java:185)
at org.apache.flink.streaming.runtime.tasks.StreamTask.runMailBoxLoop(StreamTask.java:569)
at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:534)
at org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:721)
at org.apache.flink.runtime.taskmanager.Task.run(Task.java:546)
at java.lang.Thread.run(Thread.java:748)

Caused by: java.io.IOException: Call to brdn6328.target.com/10.66.223.21:16020 Failed on local exception: org.apache.hadoop.hbase.ipc.CallTimeoutException: Call id=27,operationTimeout=10000 已过期。 在 org.apache.hadoop.hbase.ipc.AbstractRpcclient.wrapException(AbstractRpcclient.java:292) 在 org.apache.hadoop.hbase.ipc.RpcclientImpl.call(RpcclientImpl.java:1271) 在 org.apache.hadoop.hbase.ipc.AbstractRpcclient.callBlockingMethod(AbstractRpcclient.java:227) 在 org.apache.hadoop.hbase.ipc.AbstractRpcclient$BlockingRpcChannelImplementation.callBlockingMethod(AbstractRpcclient.java:336) 在 org.apache.hadoop.hbase.protobuf.generated.ClientProtos$ClientService$BlockingStub.get(ClientProtos.java:34070) 在 org.apache.hadoop.hbase.client.HTable$3.call(HTable.java:857) 在 org.apache.hadoop.hbase.client.HTable$3.call(HTable.java:848) 在 org.apache.hadoop.hbase.client.RpcretryingCaller.callWithRetries(RpcretryingCaller.java:136) ... 19 更多 引起:org.apache.hadoop.hbase.ipc.CallTimeoutException: Call id=27,operationTimeout=10000 expired。 在 org.apache.hadoop.hbase.ipc.Call.checkAndSetTimeout(Call.java:73) 在 org.apache.hadoop.hbase.ipc.RpcclientImpl.call(RpcclientImpl.java:1245) ……还有 25 个

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。