如何解决具有无限保留的历史记录主题的Debezium Mysql连接器失败,并出现IllegalStateException
我们运行了Debezium MySQL连接器,其中历史记录主题已经具有无限的保留期。但是很奇怪,连接器突然失败,但出现以下异常
"org.apache.kafka.connect.errors.ConnectException: java.lang.IllegalStateException:
The database history couldn't be recovered.
Consider to increase the value for database.history.kafka.recovery.poll.interval.ms
我可以注意到的另一件事是,由于正在监视的数据库中临时表的创建和删除(debezium连接器未跟随),因此将大量消息插入到历史主题中。这些消息是否可能是连接器无法读取历史主题消息的原因?我们曾考虑为历史记录主题启用日志压缩,但是注意到了一些建议不要启用日志压缩的问题。 https://issues.redhat.com/browse/DBZ-239。
删除历史记录主题并以schema_recovery
模式重新启动连接器可以很好地重新启动连接器,但是想知道可以采取什么措施来避免这些类型的中断。是否有任何选项仅允许存储要监视的表的DDL消息。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。