微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

我们可以使用 Flink kafka Upsert 连接器连接到/从 Kafka 压缩的主题吗?

如何解决我们可以使用 Flink kafka Upsert 连接器连接到/从 Kafka 压缩的主题吗?

感觉很明显,但我还是问一下,因为我在文档中找不到明确的确认:

Flink 1.12 中可用的 Flink Table API upsert kafka connector 的语义与 Kafka 压缩主题的语义非常匹配:将流解释为变更日志并使用 NULL 值作为墓碑来标记删除

所以我的假设是可以使用它来消费和生产压缩主题,并且它可能正是为此而制作的,尽管它应该可以很好地与非-压缩主题假设其内容确实是一个变更日志。但是我很惊讶在文档的那部分中没有找到任何对压缩主题的引用。

有人可以证实或否定这个假设吗?

解决方法

是的,它用于压缩主题。根据{{​​3}}:

一般来说,upsert-kafka源码的底层topic必须要压缩。另外,底层topic必须在同一个partition中包含所有key相同的数据,否则会报错。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。