如何解决在rocksdb中按关键字排序
我试图在 Java 中将大量数据与 2 个文件夹条目 folder1 和 folder2 进行比较。 每个文件夹包含几个文件，每个文件大小约为 10 MB。我在每个文件夹中有大约 100 个文件。 每个文件都包含一个键值行，类似于（每个文件夹的总行数约为 5 亿行）：
RFE023334343432-45,456677
RFE54667565765-5,465368
and son on..
- 第一步
首先，读取folder1中所有文件的每一行并将其加载到rocksdb中，使用 在我上面的例子中
key = RFE023334343432-45 and corresponding
value = 456677
- 第二步
一旦我的rocksdb充满了folder1数据， 对于在folder2 中读取的每一行，我调用folder1 的rocksdb get() 方法来检查为folder2 行提取的密钥是否存在于rocksdb 中。当我不存在时它返回 null。 请注意，我不能使用rocksdb keyMayExist() 方法，因为当您操作大量数据时，它会返回误报结果。
当folder1内的数据按key值排序时，性能是正确的。
但是当输入数据未排序时，我的持续时间乘以 3（我使用 shell 命令将它们打乱）。这很奇怪，因为在我的测试中 我将 unsort folder1 复制到 folder2 （只是复制我的文件夹）。因此，即使文件夹 1 未排序，文件夹 2 也以与文件夹 1 完全相同的方式未排序。
我的问题是如何按键对我的rocksdb进行排序？
解决方法
RocksDB 总是按键对数据进行排序。您可以使用迭代器从 RocksDB 实例进行 K/V 对。这是创建迭代器的 API：https://github.com/facebook/rocksdb/blob/v6.22.1/include/rocksdb/db.h#L709-L716
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。