微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Clickhouse 将 kafka 导入线程优先于其他查询

如何解决Clickhouse 将 kafka 导入线程优先于其他查询

TLDR;有什么方法可以将 kafka 引擎导入线程的优先级置于任何其他 CH 线程之上,或者我可以为 kafka 消费者保留 cpu 吗?

在我的设置中,发出大查询时 kafkalag 增加太多。我猜,这是因为当 cpu 负载过多时,导入线程没有获得足够的 cpu 时间。我尝试为用户设置最大线程上限并设置不错的值。似乎没有任何效果,因此欢迎提供任何建议。

解决方法

升级到 20.9.7.11

使用设置 kafka_num_consumers=5(10),kafka_thread_per_consumer=1

重新创建 kafka 引擎表

添加到默认配置文件 (users.xml) background_schedule_pool_size=30

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。