Clickhouse Kafka引擎-如何将具有解析错误的消息移至其他队列

如何解决Clickhouse Kafka引擎-如何将具有解析错误的消息移至其他队列

我正在使用使用kafka引擎的队列表中的物化视图将分析数据推送到表中。我将JSONEachRow作为kafka格式使用，偶尔可能会收到json解析错误。如何将失败的消息移至死信队列以检查并从处理中跳过？

解决方法

有一个设置可以跳过损坏的消息，称为kafka_skip_broken_messages。

不幸的是，正如Altinity Blog post所指出的那样，它目前无法按预期工作。

另一种设置是“ kafka_skip_broken_messages”。它不适用于所有格式，有时会产生意想不到的结果。

我的解决方案是先使用Kafka Stream和JSON Schema Validator来验证每条消息，然后将经过验证的消息发送到ClickHouse读取的另一个主题。