如何解决GCP Dataflow发布/订阅到云存储上的文本文件
我指的是Google提供的数据流Pub/Sub to Text Files on Cloud Storage。
数据流一次读取的消息不会得到确认。我们如何确保曾经被数据流消耗的消息得到确认，并且其他任何订户都不可用？
要重现和测试它，请从同一模板创建2个Job，您将看到两个Job处理相同的消息。
解决方法
首先，正确确认消息。
然后，为了证明这一点以及您的复制方式有何错误，我想重点介绍PubSub的行为。
- 一个或几个发布者在一个主题中发布消息
- 可以在一个主题上创建一个或多个订阅
- 主题中发布的所有消息都复制到每个订阅中
- 订阅可以有一个或几个订阅者。
- 每个订阅者都收到订阅中的一部分消息。
返回您的模板。您仅指定主题，而不指定订阅。当数据流运行时，转到订阅，您将能够看到创建的新订阅。
->当您启动PubSub to TextFiles模板时，将自动在提供的主题上创建订阅
因此，如果创建2个作业，则将有2个订阅，因此，在该主题中发布的所有消息都将复制到每个订阅中。这就是为什么您会有2倍相同的消息的原因。
现在，继续工作，继续订阅。在这里，您可以看到队列中的邮件数和未确认的邮件。您应该在未确认的消息图中看到0。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
