如何解决我们可以使用在 spark 2.4 上训练的 LightGBM 模型并将其加载到 spark 3 上吗?
我目前正在从 spark 2.4 切换到 spark 3。我的管道在 Scala 中(作为迁移的一部分从 2.11 切换到 2.12)。
我在生产中有几个 LightGBM 模型,它们在 spark 2.4 上进行了训练。我目前正在使用 val mmlspark = "com.microsoft.ml.spark" %% "mmlspark" % "1.0.0-rc3-24-495af3e4-SNAPSHOT"
为 LightGBM 切换包,这是 Azure 官方发布的 Spark 3 MMLSpark 版本。
我正在尝试在 spark 3 上加载我的模型,但它目前失败了。
我收到此错误:
Exception in thread "main" java.lang.IllegalArgumentException: Cannot recognize JSON metadata: {"class":"com.microsoft.ml.spark.lightgbm.LightGBMClassificationModel","timestamp":1580309847587,"sparkVersion":"2.4.3","uid":"LightGBMClassifier_510af2ce3f4f","paramMap":"{}"}.
我希望这不会意味着再次重新训练我的模型。 有没有人遇到过这个问题?由于这是最近的事情,我希望有人已经考虑过这个问题,因为目前(2021 年 5 月)文档很少。
提前致谢!
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。