hbase写入数据报错原因总结

引自:https://blog.csdn.net/xiefu5hh/article/details/53056113

问题：往hbase写入数据时一直报AsyncRequestFutureImpl: #5, waiting for 102733 actions to finish on table。之后报错RetriesExhaustedWithDetailsException，断开连接

原因：写入数据时，短时间内写入数据量过大导致写入异常。

解决方法：修改了写入hbase频率为5000条/次，之前是一次性插入所有数据

主要还是需要查看hbase的源码，从报错 日志client.AsyncProcess找到源码位置，在hbase-client里面，注意版本，新版本这个日志不是出现在AsyncProcess中

报错的日志在这个方法里面，究竟是谁调用了这个方法，那么得从头开始看了，从HTABLE里面的PUT<list rows>方法开始看，发现程序的逻辑：

插入多条数据-》数据大于缓冲大小时进行提交（缓存大小可以设置）-》读取该表的Meta表，将数据按server分组-》每个server启一个线程进行提交-》

等待提交的返回结果 这个就是图中看到的这个方法了。

 

也就是说，出现这个问题是由于数据插入在服务端没有执行完成，客户端正在等待服务端插入完成。

其实问题的本质在于服务端，可能插入太快，该表在spit 或者flush 或者gc stw 等问题引起，需要优化该表在服务端的存储，具体的表优化就看大家自己实际的业务情况了。