微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

HBase中的数据提取

如何解决HBase中的数据提取

我正在大数据平台上工作,需要对HBase进行数据提取

有两种情况:

  1. 每个周末,我们从REST公开的缓存中读取数据,然后转储到HBase中。

  2. 每天都有一个Java进程在某个特定时间运行,并从消息传递主题提取数据,然后需要转储到HBase中。

在这两种情况下,在将数据放入HBase之前,我们都需要执行增量检测,然后才能查询最新的数据视图。另外,还需要保留历史记录。

两种情况下的数据结构均相同。只是来源不同。我需要提出一个HBase模式。我看到几个选择:

  1. 使用单个表-具有数据的历史记录和最新视图
  2. 使用多个表-一个将具有最新数据视图,另一个将具有历史记录。

我是HBase的新手,所以不确定哪种方法最好。我可以尝试什么?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。