如何解决RFECV 中的准确度值完全相同
我正在尝试使用 RFECV 进行逻辑回归。这是我的代码:
log_reg = LogisticRegression(solver = "lbfgs",max_iter = 1000)
random.seed(4711)
rfecv = RFECV(estimator = log_reg,scoring = "accuracy",cv = 10)
Model = rfecv.fit(X_train,y_train)
我不认为我的数据或我的代码有任何问题,但对于几乎每个不同的特征大小值,准确度都完全相同:
Model.grid_scores_
array([0.76200776,0.76200776,0.76556425,0.80968999,0.80962074])
怎么会这样?我的数据相当大(超过 20000 个观察值)。我无法想象在交叉验证的每一层中,相同的情况都被正确估计。但如果是这样,这怎么会发生呢? 1 个变量可以解释多达 19 个,但不如 20 个?那为什么不拿第一个和第20个呢?我真的很困惑。
解决方法
我相信你所有的准确度都是一样的,因为 LogisticRegression
默认使用 L2 正则化。也就是说,penalty='l2'
除非您传递其他内容。
这意味着即使 Model
使用了所有 22 个特征,底层算法 log_reg
也会使用 L2 正则化来惩罚 beta 系数。所以如果你修剪最不重要的特征,它不会影响准确率,因为具有 22 个特征的底层 logit 模型已经将最不重要的特征的系数推到接近于零。
我建议你试试:
# Model with no penalty
log_reg = LogisticRegression(solver='lbfgs',max_iter=1000,penalty='none')
# Set seed
random.seed(4711)
# Initialize same search as before
rfecv = RFECV(estimator=log_reg,scoring='accuracy',cv=10)
# Fit search
rfecv.fit(X_train,y_train)
# Tell us how it went
rfecv.grid_scores_
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。