为什么使用 X_train 与使用整个 X 时 cross_val_score 如此不同？

如何解决为什么使用 X_train 与使用整个 X 时 cross_val_score 如此不同？

我有一个大数据集：140 万行。我首先执行训练测试拆分：

X_train,X_test,y_train,y_test= train_test_split(X,y,test_size=0.2,stratify=y,random_state=SEED)

我使用 10 倍 cross_val_score 和最大深度为 37 的 DecisionTreeClassifier，为每个折叠打印分类报告。我首先为 X_train 执行此操作：

score_train = cross_val_score(DecisionTreeClassifier(max_depth=37),X=X_train,y=y_train,cv=10,scoring=make_scorer(classification_report_with_accuracy_score))

...在 10 折中，召回率和准确率的结果分别约为 80% 和 96%。

              precision    recall  f1-score   support

       False       0.97      0.98      0.98     98313
        True       0.84      0.81      0.82     14153

    accuracy                           0.96    112466
   macro avg       0.91      0.89      0.90    112466
weighted avg       0.96      0.96      0.96    112466

然后我对所有 X 做同样的事情：

score_all = cross_val_score(DecisionTreeClassifier(max_depth=37),X=X,y=y,scoring=make_scorer(classification_report_with_accuracy_score))

...召回率和准确率的结果分别在 10% 和 40% 之间变化。

              precision    recall  f1-score   support

       False       0.74      0.34      0.47    122892
        True       0.04      0.17      0.06     17691

    accuracy                           0.32    140583
   macro avg       0.39      0.26      0.26    140583
weighted avg       0.65      0.32      0.42    140583

两者之间的结果怎么会如此不同？同样，并不是不同的折叠有非常不同的结果，而是每个折叠在仅使用训练数据集时始终是好的，而在使用所有数据时始终是坏的。

请注意，我可以在 X_train 上训练相同的决策树，并用于在 X_test 上成功预测：

dt3 = DecisionTreeClassifier(max_depth=37)
dt3.fit(X_train,y_train)
dt3pred = dt3.predict(X_test)

print(classification_report(y_test,dt3pred))

          precision    recall  f1-score   support

   False       0.98      0.98      0.98    245783
    True       0.85      0.83      0.84     35382

accuracy                           0.96    281165

宏观平均值 0.91 0.90 0.91 281165 加权平均 0.96 0.96 0.96 281165