如何解决GCP bigtable 批量写入
我正在尝试使用批处理方法写入 bigtable,但是当我尝试插入 50k 行时出现突变错误(最大突变数为 100000):
示例代码段:
def write_to_bigtable(self,df):
for idx in df.index:
req = json.loads(df.loc[idx].to_json())
self._row_key = self._get_row_key(req)
self.rows.append(self.btt.direct_row(self._row_key))
self._timestamp = datetime.datetime.utcnow()
request = {'request' : req }
status = {'job_status' : df.loc[idx,'status']}
self._Set_requestcol_family(column_family='request',row_data = request,idx = idx)
self._Set_statuscol_family(column_family='status',row_data = status,idx = idx)
response = self.btt.mutate_rows(self.rows)
for i,status in enumerate(response):
if status.code != 0:
self.logger.log("Error writing row: {}".format(status.message))
请让我知道是否有其他方法可以将百万行写入 bigtable。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。