为什么我的平均cross_val_score与训练和测试集上的R平方值如此不同？

如何解决为什么我的平均cross_val_score与训练和测试集上的R平方值如此不同？

我正在处理回归问题并评估其效果。我想知道我的R平方值与我的交叉验证分数有何不同。这是过拟合的迹象吗？这是我的设置示例。 X和Y分别被预先定义为特征和目标。

X_train,X_test,y_train,y_test = train_test_split(X,Y,test_size=.2,random_state=47)
knn = neighbors.KNeighborsRegressor(n_neighbors=40,weights='distance')

knn.fit(X_train,y_train)

y_preds_train = knn.predict(X_train)
y_preds_test = knn.predict(X_test)

print('R square of training set:',knn.score(X_train,y_train))
print('_____________________Test Stats_____________________')
print('R square of test in the model:',knn.score(X_test,y_test))
print('MAE:',mean_absolute_error(y_test,y_preds_test))
print('MSE:',mse(y_test,y_preds_test))
print('RMSE:',rmse(y_test,y_preds_test))
print('MAPE:',np.mean(np.abs((y_test - y_preds_test) / y_test)) * 100)

score = cross_val_score(knn,X,cv=5)
print("Cross Val Accuracy: %0.2f (+/- %0.2f)" % (score.mean(),score.std()*2))
score

结果：

R square of training set: 0.9881595480397585
_____________________Test Stats_____________________
R square of test in the model: 0.8611300681864155
MAE: 7.488081625869961
MSE: 164.64697808634588
RMSE: 12.831483861438079
MAPE: 368.35904890846416
Cross Val Accuracy: 0.65 (+/- 0.21)
array([0.58122339,0.53346581,0.8312428,0.69213113,0.61482638])

解决方法

虽然很难从这些结果中推断出一些信息，但您可能需要检查一下。

1. 将n_neighbors的值更改为一个范围，并检查Cross val精度如何变化，甚至运行GridSearchCV
2. 将cross_val_score中的cv更改为10，因为可以看到一个片段的精度为0.83，而其余片段的精度都低于0.7，这令人惊讶。执行此操作时，也更改test_size = 0.1
3. 确保X中的数据已规范化