如何解决scikit-optimize 中 cv_results_ 和 best_score_ 中的测试分数是如何计算的?
我正在使用 BayesSearchCV
中的 scikit-optimize
来优化 XGBoost
模型以适合我拥有的一些数据。虽然模型拟合得很好,但我对诊断信息中提供的分数感到困惑,无法复制它们。
这是一个使用波士顿房价数据集来说明我的观点的示例脚本:
from sklearn.datasets import load_boston
import numpy as np
import pandas as pd
from xgboost.sklearn import XGBRegressor
from skopt import BayesSearchCV
from skopt.space import Real,Categorical,Integer
from sklearn.model_selection import KFold,train_test_split
boston = load_boston()
# Dataset info:
print(boston.keys())
print(boston.data.shape)
print(boston.feature_names)
print(boston.DESCR)
# Put data into dataframe and label column headers:
data = pd.DataFrame(boston.data)
data.columns = boston.feature_names
# Add target variable to dataframe
data['PRICE'] = boston.target
# Split into X and y
X,y = data.iloc[:,:-1],data.iloc[:,-1]
# Split into training and validation datasets
X_train,X_val,y_train,y_val = train_test_split(X,y,test_size=0.2,random_state=42,shuffle = True)
# For cross-validation,split training data into 5 folds
xgb_kfold = KFold(n_splits = 5,random_state = 42)
# Run fit
xgb_params = {'n_estimators': Integer(10,3000,'uniform'),'max_depth': Integer(2,100,'subsample': Real(0.25,1.0,'learning_rate': Real(0.0001,0.5,'gamma': Real(0.0001,'colsample_bytree': Real(0.0001,'colsample_bylevel': Real(0.0001,'colsample_bynode': Real(0.0001,'min_child_weight': Real(1,6,'uniform')}
xgb_fit_params = {'early_stopping_rounds': 15,'eval_metric': 'mae','eval_set': [[X_val,y_val]]}
xgb_pipe = XGBRegressor(random_state = 42,objective='reg:squarederror',n_jobs = 10)
xgb_cv = BayesSearchCV(xgb_pipe,xgb_params,cv = xgb_kfold,n_iter = 5,n_jobs = 1,random_state = 42,verbose = 4,scoring = None,fit_params = xgb_fit_params)
xgb_cv.fit(X_train,y_train)
运行后,xgb_cv.best_score_
为 0.816,xgb_cv.best_index_
为 3。查看 xgb_cv.cv_results_,我想找到每个折叠的最佳分数:
print(xgb_cv.cv_results_['split0_test_score'][xgb_cv.best_index_],xgb_cv.cv_results_['split1_test_score'][xgb_cv.best_index_],xgb_cv.cv_results_['split2_test_score'][xgb_cv.best_index_],xgb_cv.cv_results_['split3_test_score'][xgb_cv.best_index_],xgb_cv.cv_results_['split4_test_score'][xgb_cv.best_index_])
给出:
0.8023562337946979,0.8337404778903412,0.861370681263761,0.8749312273014963,0.7058815015739375
我不确定这里计算的是什么,因为 scoring
在我的代码中设置为 None
。 XGBoost 的文档没有多大帮助,但根据 xgb_cv.best_estimator_.score?
它应该是预测值的 R2。无论如何,当我手动尝试计算拟合中使用的每个数据折叠的分数时,我无法获得这些值:
# First,need to get the actual indices of the data from each fold:
kfold_indexes = {}
kfold_cnt = 0
for train_index,test_index in xgb_kfold.split(X_train):
kfold_indexes[kfold_cnt] = {'train': train_index,'test': test_index}
kfold_cnt = kfold_cnt+1
# Next,calculate the score for each fold
for p in range(5): print(xgb_cv.best_estimator_.score(X_train.iloc[kfold_indexes[p]['test']],y_train.iloc[kfold_indexes[p]['test']]))
这给了我以下内容:
0.9954929618573786
0.994844803666101
0.9963108152027245
0.9962274544089832
0.9931314653538819
BayesSearchCV 如何计算每个折叠的分数,为什么我不能使用 score
函数复制它们?如果您能就此问题提供任何帮助,我将不胜感激。
(另外,手动计算这些分数的平均值给出:0.8156560...,而 xgb_cv.best_score_
给出:0.8159277...不知道为什么这里有精度差异。)
解决方法
best_estimator_
是重新拟合的估计器,在选择超参数后拟合在整个训练集上;所以对训练集的任何部分进行评分都会有乐观的偏见。要重现 cv_results_
,您需要将估计器重新拟合到每个训练折叠和 score
相应的测试折叠。
除此之外,XGBoost random_state
似乎没有涵盖更多的随机性。还有另一个参数seed
;为我产生一致结果的设置。 (这里有一些较旧的帖子 (example) 报告了类似的问题,即使设置了 seed
,但也许这些问题已被较新版本的 xgb 解决。)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。