如何解决如何将分片 MySQL 表 CDC 流式传输到 Kafka 集群
我每天都会创建新的共享 MySQL 表,名称为 "output_table_[date]"。 我想从中捕获 CDC 并流式传输到我的 Kafka 集群,那么我可以使用什么?
我探索了用于 MySQL 的 Debezium 连接器,但找不到任何可以考虑每天创建的新表的配置。例如。在创建连接器时,我们必须为要为其捕获 CDC 的表提供“table.whitelist”,但在我每天创建新表的情况下,我们必须每天手动更新。
那么任何人都可以帮助我为我的用例提供可能的解决方案吗?
解决方法
您可以通过简单地省略 table.include.list
和相关选项来捕获所有表(顺便说一句,您使用 table.whitelist
表示您使用的是旧版本的 Debezium)。注意 Debezium 1.6 我们还计划做一个 PoC 来支持对过滤器配置的更改。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。