如何解决使用PySpark使CrossValidator对象适合训练数据错误
我在这里发现了很多有关从合适的CrossValidator对象中提取最佳最佳模型参数的问题,但是我没有发现任何关于此特定错误的信息。 我正在尝试创建一个CrossValidator对象,并将其适合我的训练数据,然后在我的初始线性回归模型中再次评估指标。我的数据集已被消化成适当的格式,分为训练集和测试集,并成功应用于第一个线性回归模型。第一次尝试交叉验证,我以某种方式对其进行了混淆,因为最后一行代码返回了 “ IllegalArgumentException:标签不存在。可用:PE,功能,CrossValidator_3fda633cd32d_rand,预测”,其中“ PE”是我的labelCol。
from pyspark.ml.regression import LinearRegression
from pyspark.ml.evaluation import RegressionEvaluator
from pyspark.ml.tuning import CrossValidator,ParamGridBuilder
lrCV = LinearRegression(featuresCol='features',labelCol='PE',maxIter=50)
#Creating a grid of parameter values that the cross-validation will use
paramGrid = ParamGridBuilder() \
.addGrid(lrCV.regParam,[1,0.1,0.01]) \
.addGrid(lrCV.elasticNetParam,[0.0,0.5,1.0,2]) \
.addGrid(lrCV.fitIntercept,[True,False]) \
.build()
#Create an instance of the CrossValidator object and enter our predefined parameters
crossVal = CrossValidator(estimator=lrCV,estimatorParamMaps=paramGrid,evaluator=RegressionEvaluator(),numFolds=5)
lrModelCV = crossVal.fit(train)
有人有什么建议吗?我猜这是我真正忽略的事情,但是我一生都找不到它。预先感谢。
解决方法
默认情况下,CrossValidation期望将输出标签命名为label
- 您可以在开始时将输出列设置为
label
以避免所有混乱
或
-
您也可以将
labelCol='PE'
传递给RegressionEvaluator()
RegressionEvaluator(labelCol='PE')
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。