微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

DSE Solr - 不同的分区键 将数据复制到单个表中以进行索引使用 Solr 数据导入处理程序

如何解决DSE Solr - 不同的分区键 将数据复制到单个表中以进行索引使用 Solr 数据导入处理程序

很明显,虽然连接表用于 DSE Solr 搜索是可能的,但它们必须共享相同的分区键 (Joining cores | CQL for DSE 6.0)。

我需要加入单个可搜索索引的表具有不同的分区键 - 例如,表 B 的分区键是表 A 的分区键加上它的聚簇列。

我想知道索引这些数据的最佳方法是什么。我能想到两种可能:

将数据复制到单个表中以进行索引

我将有一个工作进程定期连接来自我想要组合的各种表的数据,并将其写入一个纯粹用于 Solr 索引的新表。我可能会在表上使用 TTL 和时间窗口压缩策略,以便旧行自动过期而不会留下墓碑。然后我会用通常的方式让 Solr 索引这个表。

我需要某种方法来确保 Solr 在其索引中仅保留每一行的最新版本。假设可以实现这一点,但创建实际上是数据的中间副本似乎是不合情理的。

使用 Solr 数据导入处理程序

再一次,worker 会定期运行以连接来自各种表的数据,但它会直接将其上传到 Solr,可能使用 Solr Data Import Handler。虽然乍一看这是一个更有效的解决方案,但我在 DataStax 文档中找不到任何关于使用数据导入处理程序的内容,或者实际上如何绕过 DSE Solr 集成。我什至不确定这是可能的。

我很感激在我之前解决过这个问题的人的建议。

(我只想提一下,使用作为 DSE 一部分的 Solr 实例是必需的;设置 Solr 的单独实例不是一种选择。)

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。