限制单个 RocksDB 实例或限制在一个 Kafka Streams 客户端中使用的所有 RocksDB 实例的内存是什么意思?

如何解决限制单个 RocksDB 实例或限制在一个 Kafka Streams 客户端中使用的所有 RocksDB 实例的内存是什么意思?

Original link where my question is coming from

"Regarding your question about limiting the memory usage of RocksDB the answer depends on what you want to limit. Do you want to limit the memory used by one single instance of RocksDB or do you want to limit the memory of all RocksDB instances that are used within one Kafka Streams client? For the former you should use the example in the first documentation. For the latter,you should use the example in the second documentation."

我无法按照所提供的解决方案来确定在以下场景中提供的链接中的文档 1 或 2 之间使用哪种方法在这个场景中,假设主题有 300 个分区,我在 OpenShift 上运行我的 kafka 流应用程序,有 3 个 pod。每个pod有资源5GB内存,2Core,我设置kafka流让每个pod运行两个流线程(总共6个流线程)。我的理解是 kafka 流应用程序的每个流分区都有一个 RockDB 实例。因此,将有 300 个 RockDB 实例。

一旦应用程序启动,我的理解是每个 pod 将关联到 100 个分区(100 个 RockDB 实例),因为 300 个分区/3 个 kafka 实例 = 100。之后,由于每个 kafka 实例有 2 个流线程,每个线程与 50 个分区相关联。我现在的困惑是,如果我使用文档 1 的方法,是否只限制每个 Pod 中 100 个 RocksDB 实例中的 1 个 RocksDB 实例的内存,而文档 2 的方法会限制每个 Pod 中所有 100 个 RocksDB 实例的内存?

我相信我需要限制所有 100 个 RocksDB 实例的内存,这样它就不会超过 5GB 的 pod 内存资源限制,否则我会出现 OOM。

我目前的假设是我需要采用文档 2 中的方法,但我想澄清这种理解是否正确。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其他元素将获得点击?
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。)
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbcDriver发生异常。为什么?
这是用Java进行XML解析的最佳库。
Java的PriorityQueue的内置迭代器不会以任何特定顺序遍历数据结构。为什么?
如何在Java中聆听按键时移动图像。
Java“Program to an interface”。这是什么意思?
Java在半透明框架/面板/组件上重新绘画。
Java“ Class.forName()”和“ Class.forName()。newInstance()”之间有什么区别?
在此环境中不提供编译器。也许是在JRE而不是JDK上运行?
Java用相同的方法在一个类中实现两个接口。哪种接口方法被覆盖?
Java 什么是Runtime.getRuntime()。totalMemory()和freeMemory()?
java.library.path中的java.lang.UnsatisfiedLinkError否*****。dll
JavaFX“位置是必需的。” 即使在同一包装中
Java 导入两个具有相同名称的类。怎么处理?
Java 是否应该在HttpServletResponse.getOutputStream()/。getWriter()上调用.close()?
Java RegEx元字符(。)和普通点?