微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

hbase数据迁移

1.概述

  主要应用于灾难备份,集群间的数据迁移

2.流程图

  

 

put:代表一个插入批次

FSHLog:hbase中wal的实现 entries:hbase的数据记录,一个entry包含一系列cell,tableName,Columnfamily,sequenceId,writeTime,encodedRegionName,origLogSeqNum等字段 replicationContext:一个包含entries,entries的长度,timeout,walGroupId四个字段的对象   1.一次(put)插入在写入数据时先写入FSHLog,写入FSHLog的一个put就是一个entry。 2.old cluster集群的regionserver调用new cluster的RPC接口,将数据以replicationContext的形式传给new cluster的RegionServer. 3.new Cluster将replicationEndpoint解析并将数据写入HFile。       关于数据放大: entry中sequenceId,writeTime,encodedRegionName,origLogSeqNum等字段就是数据传输的数据放大字段,   如果一条数据一条数据写入则数据放大最为严重,若只写一次写入全表数据则数据基本不会放大  

 

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐