如何确保某个数据点不在分层交叉验证拆分的测试集中？

如何解决如何确保某个数据点不在分层交叉验证拆分的测试集中？

我有一个像这样的 DataFrame。

d = {'col1': [1,2,3,4,5,6,7,8],'col2': ['a','a','b','c','d','d']}
df = pd.DataFrame(data=d)
df

  col1  col2
0   1     a
1   2     a
2   3     b
3   4     b
4   5     c
5   6     c
6   7     d
7   8     d

当我使用 k 折交叉验证时，我想确保 col2 中的值仅存在于训练集或测试集中。也就是说，在拆分期间，如果 df['col2'][0] = a 和 df['col2'][1] = a，那么索引为 0 和 1 的行应该都在训练集中，否则在测试集中。不应该是第 0 行在训练集中，第 1 行在测试集中。

有没有简单的方法可以做到这一点？

编辑：有没有办法将 DataFrame 一分为二，这样每个部分都包含在第一个 DataFrame 中的 a 中具有值 col2 的所有数据点还是第二个但不是两个？我尝试使用 groupby 但它返回一个对象，当我将其转换为字典时，我只能通过键访问它，即 a,b,c,d

解决方法

您可以通过执行 GroupShuffleSplit 来确保变量值仅出现在集合中，如下所示：

from sklearn.model_selection import GroupShuffleSplit

import pandas as pd

d = {'col1': [1,2,3,4,5,6,7,8],'col2': ['a','a','b','c','d','d'],'label': [1,1,0]}
df = pd.DataFrame(data=d)

X = df[['col1','col2']]
y = df['label']
groups= df['col2']
gss = GroupShuffleSplit(n_splits=2,train_size=.8,random_state=42)
for train_idx,test_idx in gss.split(X,y,groups):
    X_train,X_test = X.iloc[train_idx],X.iloc[test_idx]
    y_train,y_test = y.iloc[train_idx],y.iloc[test_idx]

,

在@Antoine Dubuis 的帮助下，我找到了我想做的 sklearn 实现 - 称为 StratifiedGroupKFold。

截至 2021 年 7 月，它仍在开发中，但可以从开发/夜间版本使用。我建议创建一个单独的虚拟环境来使用它。

我已经使用过它，目前似乎可以使用，所以希望它很快以稳定版本发布。