如何解决Apache Beam Python WriteToBigtable 可能会死信吗?
正如标题所说,
当 WriteToBigtable() 失败时,是否可以在 pubsub 中写入死信主题?我知道 Bigquery 可以实现,但在 BigTable 上没有看到任何内容。
我正在使用 Apache Beam python 库。
解决方法
当前的 WriteToBigTable 不会返回失败的记录。但是,您可以编写自定义 PTransform 以根据您的要求返回失败的突变。 内置转换使用下面的 google python 客户端库来写入大表。您可以利用它的源代码并添加异常处理来输出您的异常类型。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。