Spark 结构化流上的 LSHModel

如何解决Spark 结构化流上的 LSHModel

显然，spark 2.4 中 MLLib 的 LSHModel 支持 Spark Structured Streaming (https://issues.apache.org/jira/browse/SPARK-24465)。

但是，我不清楚如何。例如，来自 approxSimilarityJoin 转换 (https://spark.apache.org/docs/latest/ml-features#lsh-operations) 的 MinHashLSH 可以直接应用于流式数据帧吗？

我没有在网上找到更多关于它的信息。有人可以帮我吗？

解决方法

你需要

1. 将经过训练的模型（例如 modelFitted）保留在您的流媒体作业可访问的某个位置。这是在您的流媒体工作之外完成的。

modelFitted.write.overwrite().save("/path/to/model/location")

2. 然后在结构化流作业中加载此模型

import org.apache.spark.ml._
val model = PipelineModel.read.load("/path/to/model/location")

3. 使用
将此模型应用于您的流式数据帧（例如df）

model.transform(df)

// in your case you may work with two streaming Dataframes to apply `approxSimilarityJoin`.

可能需要将流式数据帧转换为模型预测中使用的正确格式。