如何解决PySpark Dataframe pickle 异常:构建 ClassDict 的预期参数为零用于 pyspark.ml.linalg.DenseVector
我无法选择在 onevsrest 分类器模型上转换的数据框。
错误描述: net.razorvine.pickle.PickleException:ClassDict 的构建预期为零参数(用于 pyspark.ml.linalg.DenseVector)
df = spark.sql("select distinct * from MasterData table")
df.select("*").show(5)
df = df.withColumn("featureval",array(df["featureval"]))
countVectors = CountVectorizer(inputCol="featureval",outputCol="features1",vocabSize=10000,minDF=5)
label_stringIdx = StringIndexer(inputCol = "Type",outputCol = "label")
pipeline = Pipeline(stages=[countVectors,label_stringIdx])
pipelineFit = pipeline.fit(df)
dataset = pipelineFit.transform(df)
dataset.select("*").show(5)
(train,test) = dataset.randomSplit([0.8,0.2])
lr = LogisticRegression(maxIter=10,tol=1E-6,fitIntercept=True)
ovr = OneVsRest(classifier=lr)
ovrModel = ovr.fit(dataset)
predictions = ovrModel.transform(test)
现在,当我尝试选择数据框 predictions.select("*").show(10)
时,出现了 pickle 异常。
任何帮助将不胜感激!! 提前致谢
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。