微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

一周一个中间件-hbase

前言

hbase是大数据的生态的一部分,是高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。介于nosql和RDBMS之间。主要存储非结构化和半结构化的松散数据。

海量数据存储
快速随机访问
大量写操作的应用

背景

我们公司现在需要一套监控系统,并且需要存储一系列的用户访问数据,这些数据很松散,现在看起来无关紧要的数据但是确实潜在的用户行为数据。之后会帮助我们分心用户行为,为我们提供个性化数据作为依据。
在综合现在主流的监控系统,cat,pinpoint,zikpin,SkyWalking等监控系统。我们选择了pinpoint这个基于字节码注入的调用链分析。所消耗的性能低,无代码侵入性。但是搭建pinpoint时,需要使用hbase作为存储数据的数据库

知识准备

  • region

RegionServer.理解为数据节点,存储数据的
region服务器的内存主要服务于内部数据结构。你需要64位操作系统和使用大于4G的内存空间。

  • 架构图

  • HMater

HMaster是Master Server的实现,负责监控集群中的RegionServer实例,同时是所有Metadata改变的接口,在集群中,通常运行在NameNode上面。master机器不需要大存储空间,不需要挂载过多的磁盘。由于master的重要性大于slalve。可以通过冗余提升硬件可用率。
master机器要运行NameNode,SecondaryNameNode,JobTRacker和HBase Master.800TB数据推荐24G内存。

  • slave

HBase的RegionServer.slave机器要使用Datanode,TaskTracker和HBase RegionServer.800TB数据推荐24G内存以上配置。

本地模式: hbase可以不使用HDFS或者其他集群。使用FileSystem类连接到文件系统实现。Hadoop客户端加载并使用hadoop提供ChecksumFileSystem类直接操作本地磁盘路径来存储所有的路径。
参数 file:///
HDFS模式: 是认的文件系统,Hbase选择HDFS作为文件系统。
hdfs://

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐