如何解决SparkNLP NerDLModel 加载抛出 NoSuchMethodException
我目前正在使用 John SNow 实验室的 SparkNLP 库来训练自定义 NER 模型。我能够成功完成训练并且模型正在保存到磁盘。当我尝试为下一步加载模型以实际标记一些示例数据时，我遇到了以下错误。我在 Windows 10 上使用 Ubuntu。 spark-nlp_2.12:3.1.2 with Spark 3.1.2,scala 2.12.10 OpenJDK 8
我也在 PySpark 上尝试了相同的方法，但得到了相同的确切错误 pyspark 错误：
java.lang.NoSuchMethodException: org.apache.spark.ml.PipelineModel.(java.lang.String) 在 java.lang.class.getConstructor0(Class.java:3082) 在 java.lang.class.getConstructor(Class.java:1825) 在 org.apache.spark.ml.util.DefaultParamsReader.load(ReadWrite.scala:468) 在 com.johnsNowlabs.nlp.FeaturesReader.load(ParamsAndFeaturesReadable.scala:12) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method.invoke(Method.java:498) 在 py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244) 在 py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357) 在 py4j.Gateway.invoke(Gateway.java:282) 在 py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132) 在 py4j.commands.CallCommand.execute(CallCommand.java:79) 在 py4j.GatewayConnection.run(GatewayConnection.java:238) 在 java.lang.Thread.run(Thread.java:748)
感谢任何帮助。 Scala版本错误 java.lang.NoSuchMethodException:
org.apache.spark.ml.PipelineModel.(java.lang.String) 在 java.lang.class.getConstructor0(Class.java:3082) 在 java.lang.class.getConstructor(Class.java:1825) 在 org.apache.spark.ml.util.DefaultParamsReader.load(ReadWrite.scala:468) 在 com.johnsNowlabs.nlp.FeaturesReader.load(ParamsAndFeaturesReadable.scala:12) 在 com.johnsNowlabs.nlp.FeaturesReader.load(ParamsAndFeaturesReadable.scala:8)
val loaded_ner_model = NerDLModel.load("./NER_bert_prod_20200221")
.setInputCols("sentence","token","bert")
.setoutputCol("ner")
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。