如何在执行 10 折交叉验证时在每次拆分时获得套索回归中的系数？

如何解决如何在执行 10 折交叉验证时在每次拆分时获得套索回归中的系数？

我正在执行随机搜索 cv 以在套索回归中查找 alpha 值，并且我正在执行 10 折交叉验证。有没有办法像我们使用 cv_results 函数获得分数一样，获得每个分割的系数值？

解决方法

没有通过 RandomizedSearchCV 直接执行此操作的方法。但是您可以通过定义自己的类来解决这个问题，例如调用预测函数时将系数打印到控制台：

from sklearn.linear_model import Lasso


class MyLasso(Lasso):

    def predict(self,X):
        print(self.coef_)
        return super().predict(X)

MyLasso 的行为与 Lasso 相同，可以照常使用：

from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split,RandomizedSearchCV


X,y = make_regression(n_features=5,random_state=42)
X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=42)

param_distributions = {'alpha': [0.01,0.1,1]}
rs = RandomizedSearchCV(
    MyLasso(),param_distributions=param_distributions,cv=2,n_iter=3,random_state=42
)

rs.fit(X_train,y_train)

以上示例的输出（2 折交叉验证的 3 次迭代给出了 6 个结果）：

[64.57650818 98.64237403 57.07123743 60.56898095 35.59985227]
[64.57001187 98.63679695 57.06557977 60.56304163 35.59888746]
[64.43774582 98.55938568 57.01219706 60.49221968 35.51151313]
[64.37690435 98.49805298 56.95345309 60.43375789 35.5018112 ]
[63.05012223 97.72950224 56.42179336 59.72460697 34.62812171]
[62.44582912 97.11061327 55.83218634 59.14092054 34.53104869]

,

在我看来，将系数保存为额外的分数比在 @afsharov's answer 中修改估计器本身更巧妙。定义得分手并将其传递给搜索

def coefs_scorer(estimator,X,y):
    return estimator.coef_

rs = RandomizedSearchCV(
    ...
    scoring={'r2': 'r2','coefs': coefs_scorer},refit='r2',)

失败，因为有一个检查记录员返回单个数字。所以你需要解开系数，我得到了这个：

def coefs_scorer(estimator,i):
    return estimator.coef_[i]

from functools import partial
scoring = {'r2': 'r2'}
for i in range(X_train.shape[1]):
    scoring[f'coef{i}'] = partial(coefs_scorer,i=i)

param_distributions = {'alpha': [0.01,1]}
rs = RandomizedSearchCV(
    Lasso(),random_state=42,scoring=scoring,)

请注意，对于多个指标，您需要指定用于重新拟合的指标。由于所有额外的工作，我不太确定这是否比自定义类更好。不过它确实有一些优点：

• 如果您想选择最佳估算器，则无需打包自定义类。
• 分数以编程方式保存，而不仅仅是打印出来。
• 因为它们是分数，所以您可以得到存储在 cv_results_ 中的折叠系数的平均值和标准差（当然，自己计算它们并不困难）。

缺点：

• 我们必须为每个功能指定一个指标。这很丑陋，但更糟糕的是，它假设您事先知道特征的数量（如果您的估算器是具有特征选择或某些特征工程步骤的管道，则它会失败）。
• 如果您返回列车分数，您将复制 cv_results_ 中的系数。
• 这些实际上并不是分数，所以从语义上讲，这很糟糕。
• 记分器假定 coef_ 存在并且是一维的。