如何解决apache beam如何访问bigtable数据?
如果 BigtableIO.Read 在数据流中运行,数据是通过 bigtable 节点访问还是直接进入 bigtable 平板电脑?
客户端请求在发送到 Cloud Bigtable 节点
之前先通过前端服务器接着说:
一个 Cloud Bigtable 表被分片成连续的行块,称为tablet,以帮助平衡查询的工作负载...... Tablets 存储在 Colossus,Google 的文件中系统,SSTable格式
(担心的是,如果有一个数据流作业在用户发出肯定通过节点的单独请求的同时运行,数据流作业中是否会有少量或大量的争用。我猜如果数据流作业通过节点,与直接命中平板电脑相比,竞争会明显更多。)
解决方法
Beam BigTable 连接器使用 Cloud BigTable 的公共 API,因此请求将通过 BigTable 前端服务器节点。
有关 Beam 连接器的 BigTable 客户端 API 用法的更多详细信息,请参阅 here。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。