如何解决气流 pubsubpull 运算符未按预期工作
我在实时系统中遇到了一个奇怪的问题。阶段 gcp 项目中的测试未显示此错误/行为。
问题：在 k8 引擎中托管的气流中使用 PubSubPullOperator，无法提取超过 10 或 20 有时 400 有时 0 的任何消息。我玩过 max_mesages 但似乎没有帮助。由于从我的操作员那里提取的数据较少，我倾向于看到我的队列很容易增加到 10k、20k，但我的操作员只提取很少的消息。这很烦人，我必须将我的设计完全更改为 https://cloud.google.com/pubsub/docs/pull
我确定我不是唯一面临这个问题的人，可能会有一些解决办法。
Airflow 的原因：我想每 15 分钟用这些数据刷新一次仪表板，所以我决定使用流数据 + 批量加载。所以排除了 Dataflow 和云功能（也要记住成本）。
设计：
在阅读 PubSubPullSensor 时，我知道传感器至少会等待 1 条消息，但没有提到超时。我无法使用传感器，因为目前所有 8 个订阅都在并行运行并创建一个用于加载的文件。使用传感器，如果任何订阅没有收到消息，整个 dag 将卡住并永远运行！
正在寻找一些与气流相关的解决方案并提前致谢！
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。