使用 Elasticsearch 索引分析序列频率

如何解决使用 Elasticsearch 索引分析序列频率

如果我有一个文本文件，我将它拆分成句子，每个句子都用 ES 术语制成一个“文档”，我如何使用该索引来分析该文本文件中所有标记序列的频率？ （假设 ES 处理所有内容都是小写的）。

在标准设置下，ES 在索引中包含每个令牌的偏移量。因此，如果你有，在某一点“敏捷的棕色狐狸跳过了懒惰的狗”， 并且在另外两个位置“Quick brown fox”出现在其他句子中，我希望分析显示“quick brown fox”频率 3。

但我希望它对文本文件中的所有序列都这样做（即频率 > 1）。

我以前使用 Groovy/Java 程序实现了这种事情。当时我直接使用 Lucene .jar 文件进行编码。尽管我实际上并没有最终采用这种方法（证明太棘手*），但似乎可以设计处理各个阶段（标记化、过滤、词干提取等）的 Lucene 代码，以便在我的可以应用案例序列分析。然后我的分析将每个小写序列分解为它的“案例变体”。所以在上面的例子中它会是

"quick brown fox" (LC) 频率 3，"quick brown fox" (cased) 频率 2 和 "quick brown fox" (cased) 频率 1。

事实上，在我制作的那个应用程序中，我还将事物分解为“分隔符”变体：即您在标记之间找到的内容，可能是空格、标点符号或其他任何内容。我对 ES 还不够了解，不知道是否可以在索引中包含分隔符数据和令牌数据，但我也想这样做。

我期待我想要的实际上在 ES 中是不可能的，并且当 ES 创建其索引时，我必须构建自己的并行数据结构，使用 analyze 端点：使用Python elasticsearch 模块如下所示：

index_client = elasticsearch.client.IndicesClient( es_obj )
analysis_result = index_client.analyze( body=analysis_object,index='my_index')

...但让我震惊的是，实际上所有需要的数据，至少对于仅令牌分析，都存在于索引中（即每个文档中的令牌偏移量），而且这可以被视为一种与聚合相关的分析，虽然非常复杂。

---

* 特别是，Lucene 类和方法似乎（v. 7 左右）充满了 final 方法和类，这表明 Lucene 创建者真的不希望人们分叉和乱搞他们的孩子以这种方式。