如何解决限制单个 RocksDB 实例或限制在一个 Kafka Streams 客户端中使用的所有 RocksDB 实例的内存是什么意思?
Original link where my question is coming from
"Regarding your question about limiting the memory usage of RocksDB the answer depends on what you want to limit. Do you want to limit the memory used by one single instance of RocksDB or do you want to limit the memory of all RocksDB instances that are used within one Kafka Streams client? For the former you should use the example in the first documentation. For the latter,you should use the example in the second documentation."
我无法按照所提供的解决方案来确定在以下场景中提供的链接中的文档 1 或 2 之间使用哪种方法。在这个场景中,假设主题有 300 个分区,我在 OpenShift 上运行我的 kafka 流应用程序,有 3 个 pod。每个pod有资源5GB内存,2Core,我设置kafka流让每个pod运行两个流线程(总共6个流线程)。我的理解是 kafka 流应用程序的每个流分区都有一个 RockDB 实例。因此,将有 300 个 RockDB 实例。
一旦应用程序启动,我的理解是每个 pod 将关联到 100 个分区(100 个 RockDB 实例),因为 300 个分区/3 个 kafka 实例 = 100。之后,由于每个 kafka 实例有 2 个流线程,每个线程与 50 个分区相关联。我现在的困惑是,如果我使用文档 1 的方法,是否只限制每个 Pod 中 100 个 RocksDB 实例中的 1 个 RocksDB 实例的内存,而文档 2 的方法会限制每个 Pod 中所有 100 个 RocksDB 实例的内存?
我相信我需要限制所有 100 个 RocksDB 实例的内存,这样它就不会超过 5GB 的 pod 内存资源限制,否则我会出现 OOM。
我目前的假设是我需要采用文档 2 中的方法,但我想澄清这种理解是否正确。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。