如何解决Flink-BigTable - 任何连接器?
我想使用 BigTable 作为 Flink 作业的接收器:
- 是否有开箱即用的连接器?
- 我可以使用 Datastream API 吗?
- 如何以最佳方式传递稀疏对象(99% 稀疏),即确保在 BigTable 中没有为空值创建键/值?
我已经搜索了上述主题的文档,但无法回答这些问题。
感谢您的支持!
解决方法
我认为 Flink 没有原生的 BigTable 连接器。
也就是说,您可以使用 Flink HBase SQL Connector 和 BigTable HBase client 从 Flink 访问 BigTable:
Flink job <-> Flink HBase SQL Connector <-> BigTable HBase client <-> BigTable
此连接器似乎与 Cloudera 提出的 Flink HBase connector 类似,可以是 manually installed(请参阅评论 @rsantiago)。
可以从 Cloudera 的 example 中获取有关稀疏数据持久性的可能方法,其中使用 put.addColumn
添加列,以便您可以在该部分中评估它是否为空并将其丢弃(请参阅注释 { {3}})。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。