从大型纯文本文件中快速搜索第一个字段

如何解决从大型纯文本文件中快速搜索第一个字段

我正在处理一个语言数据库，对于我的工作，我经常需要从 10+ GB 的文本文件中加载 2 个条目，其中包含超过 50 万个条目。当我的文本文件为 1 GB 时，这曾经是可以管理的工作，但现在进行测试运行需要近 4 分钟。我的文本文件有一个带有 2 个字段的简单格式。第一个字段（主键）是一个词（例如“苹果”或“停车场”），第二个字段是一个大文本博客。文件格式：

column 1            |  column 2
a dictionary word   |  a large text blob

我有相当多的 sql 经验，我知道我可以将内容加载到 sqlite 中，或者使用 Lucene、Xapian 等进行索引，我已经为项目的其他部分完成了所有这些工作，但是现在，我真的很想保留我的大平面文件。但不是这样：

grep term1 bigFlatFileDB.txt
grep term2 bigFlatFileDB.txt

每次需要 4 分钟以上，我想索引（或倒排索引，如果你愿意）一次，基本上是一个低级 btree，然后快速搜索。 我喜欢这样的东西：

buildindex bigFlatFileDB.txt bigFlatFileDB.index
alt-grep term1 bigFlatFileDB.txt bigFlatFileDB.index
alt-grep term2 bigFlatFileDB.txt bigFlatFileDB.index
etc. 

在上面的“alt-grep”是指搜索大文件的其他方法。

我见过 KinoSearch（Lucene 的 perl/C 改编版）、Namazu、Swish-e、Flat Fire、Apache CouchDB 的想法。但是很难知道什么是最好的，或者这些是否合理。也许有一些我不知道的经典老技巧，索引行号，使用 sed 来拉出我需要的行，等等（我知道我可以将我的文件分成 1000 个子文件；但这也增加了一个我不想要的复杂性，而且我失去了与主大文件的联系。）我无法进行实时内存映射，mmap，因为我的计算机只有 16 GB 内存，这仍然需要完整的文件加载。>

我尝试在 StackOverflow 上搜索想法，但很多回答都类似于“使用 Lucene”或“使用 X 种 sql”。我的情况很简单，我只有一种查询。我在 StackOverflow 上看到很多无效或被忽略的倒排索引请求。

您发现有哪些方法或工作流程可以很好地匹配单个行/行/条目，基于唯一的第一个字段，来自一个巨大的文本文件？

解决方法

SQLite 示例

这是一个如何通过 sqlite 完成此操作的示例。它只需要几行代码。这里，输入文件是/path/to/input.txt，列分隔符是波浪号“~”。

rm sample.db

sqlite3 sample.db  << EOF
create table entries(headword TEXT,contents TEXT);
.separator "~"
.import /path/to/input.txt entries
EOF

并获得匹配：

sqlite3 sample.db 'SELECT * FROM entries WHERE headword IN ("#apple","#banana");'  
#banana|....
#apple|....

但是，这仍然是从我的原始文件中抽象出一个步骤，我想知道是否有一种聪明的方法可以在 没有像 sqlite 这样的典型数据库的情况下做同样的事情。