Google Cloud Pub/Sub 中的积压

如何解决Google Cloud Pub/Sub 中的积压

我是 GCP 的新手，在阅读有关 Dataflow 服务自动调整的文档时，他们谈论的是积压工作和依赖于它的自动缩放。在这种特殊情况下，什么是积压？ 如果我的管道正在从发布/订阅中读取，它是最旧消息的年龄还是未确认消息的数量？

解决方法

Dataflow 中的积压工作与 PubSub 无关。当数据流在这里时，它总是从 PubSub 收到一条消息。但是处理队列可以在 Dataflow 内部增加：即积压。如果它太大，并且 CPU 消耗太高，则会向管道中添加一个新的工作器。

在流媒体模式下，您仍然有积压，但也有预测积压。实际上，它比较了每个时间窗口中的消息数量，如果消息数量增加，则可能是峰值的开始，数据流可以主动扩展。