如何解决是过拟合还是数据泄露问题？
我在个性化数据集上应用了 Sklearn DecisionTreeClassifier() 来执行二元分类（第 0 类和第 1 类）。
最初的类是不平衡的，我尝试使用以下方法来平衡它们：
rus = RandomUnderSampler(random_state=42,replacement=True)
data_rus,target_rus = rus.fit_resample(X,y)
所以我的数据集平衡了 186404 个第 1 类样本和 186404 个第 2 类样本。训练样本为：260965，测试样本为：111843
我使用 sklearn.metrics 计算了准确度，然后得到了下一个结果：
clf=tree.DecisionTreeClassifier("entropy",random_state = 0)
clf.fit(data_rus,target_rus)
accuracy_score(y_test,clf.predict(X_test)) # I got 100% for both training and testing
clf.score(X_test,y_test) # I got 100% for both training and testing
因此，我在测试和训练阶段都获得了 100% 的准确率，我确信结果是异常的，尽管我在拆分数据之前已经对数据进行了混洗，但我无法理解它是过度拟合还是数据泄漏。然后我决定使用
绘制训练和测试准确度sklearn.model_selection.validation_curve
我得到了下一个数字，但我无法解释它：
我尝试了另外两种分类算法：逻辑回归和 SVM，我得到了下一个测试准确率：分别为 99,84 和 99,94%。
更新 在我的原始数据集中，我映射了 4 个分类列，然后使用下一个代码：
DataFrame['Color'] = pd.Categorical(DataFrame['Color'])
DataFrame['code_Color'] = DataFrame.Color.cat.codes
在使用 RandomUnderSampler 对我的原始数据进行欠采样后，为了获得类平衡，我将数据拆分为训练和测试数据集 train_test_split of sklearn
任何想法都可以对我有所帮助！
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。