如何解决删除后 RocksDB 没有释放空间
我们的大部分服务都使用 Kafka 存储,正如您所知,它在底层使用 RocksDB。我们正在尝试每 6 小时删除一次过时和格式错误的记录,以释放空间。即使记录从 RocksDB 中删除(添加了墓碑并且记录不再可用),我们也看不到空间变化。
我想,需要触发压缩,以便压缩删除的记录。但是,据我所知,只有当 L0 文件的数量达到 level0_file_num_compaction_trigger 时才会触发分级压缩。由于我的服务几乎不消耗任何数据(在开发环境中),我相信无法触发压缩,因此“删除”的记录仍然存在。
请注意,我们仅使用默认的 RocksDB 配置。我还注意到,当我在自定义 RocksDB 配置中使用 #options.setDeleteObsoleteFilesPeriodMicros() 时,本地存储的大小急剧下降。但是,我不确定该方法究竟做了什么。
我还读到,可以选择使用压缩过滤器进行定期压缩。但是,我不确定如何使用 Java 添加一个。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。