如何解决HBase 加载了来自 Spark Streaming 的实时数据如何为每个键执行更新?
美好的一天。我正在使用 Spark 实时读取 REST Push API 数据并将数据加载到 HBase 表中。实时数据还将包含对 HBase 表中现有数据的更新,我正在考虑使用几个选项来处理它
- 必须根据密钥对实际数据执行更新。
- 根据密钥创建另一个版本的数据。以便在从报表工具读取数据时,可以从加载的最新记录中读取数据。
我可以知道在这种情况下哪种方法最好吗?
如果我需要遵循第 1 点,我如何对物理 HBase 表中的实际数据执行更多实时更新,其中我的 Streaming Spark 作业每 2 分钟运行一次。
如果我采用第 2 点,报告工具读取数据以在仪表板中显示实时更新的速度有多快,以及数据的一致性。
请分享您的回复。
谢谢。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。