微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Kafka:生产者线程卡住了

如何解决Kafka:生产者线程卡住了

我有一个 Apache Nifi 工作流,可将数据流式传输到 Kafka。我的 Kafka 集群由 5 个使用 SSL 进行加密的节点组成。 当有大量数据要抛出时,我的 Kafka 生产者 (PublishKafkaRecord) 会冻结并停止工作。我必须重新启动处理器,但出现线程错误。 我使用的是 Kafka Confluent 5.3.1。

我在 Kafka 日志中看到这些错误

ERROR Uncaught exception in scheduled task 'transactionalID-expiration' (Kafka.utils.Kafkascheduler)

retrying leaderEpoch request for partitions XXX-0 as the leader reported an error: UNKNowN_leader_EPOCH (kafka.server.ReplicaFetcherThread)

Could not find offset index file corresponding to log file XXX/*.log recovering segment and rebuilding index files (kafka.log.Log)

ERROR when handing request: .... __transaction_state

ERROR TransactionMetadata (... ) Failed: this should not happen (kafka.coordinator.transaction.TransactionMetadata)

我无法指出实际错误

如何修复卡在 Kafka 中的线程?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。