为来自另一个 DataFrame 的每一列创建唯一值的数据框

如何解决为来自另一个 DataFrame 的每一列创建唯一值的数据框

我有一个包含 60 多列的数据框。其中，大约一半是分类的（非金额列）。但是，其中一些将分类数据存储为 1 和 0，因此如果数据类型为 NaN，则数据类型将为 int 或 float。

我需要创建一个新的数据帧，将早期数据帧中的选定列作为索引，并将唯一值作为列。

测试数据如下：

data = pd.DataFrame({'A':['A','B','C','A','D'],'B':[1,1,1],'C':[10,20,30,40,50,60,70],'D':['Y','N','Y','P']
                })

我这样做是为了从所有列中获取选定的列并为每一列获取唯一值。

cols = itemgetter(0,3)(data.columns)
uniq_stats = pd.DataFrame(columns=['Val'],index=cols)
for each in cols:
    uniq_stats.loc[each] = ';'.join(data[each].unique())

但是，对于那些数据是分类但存储在 1 和 0 中的列，以及那些有 Null 值的列，这将失败。

上述测试数据的预期结果：

    Val
A   A;B;C;D
B   1;0
D   Y;N;P

我应该怎么做才能得到这些？ 我希望空值是否也包含在唯一值列表中。

解决方法

使用 DataFrame.iloc 列按位置，然后在 DataFrame.agg 中添加 lambda 函数：

df = data.iloc[:,[0,1,3]].agg(lambda x: ';'.join(x.astype(str).unique())).to_frame('Val')
print (df)
       Val
A  A;B;C;D
B      1;0
D    Y;N;P

类似的想法是只转换唯一值，所以应该更快：

df = data.iloc[:,3]].agg(lambda x:';'.join(str(y) for y in x.unique())).to_frame('Val')
print (df)
       Val
A  A;B;C;D
B      1;0
D    Y;N;P

,

好的。我尝试了 map() 函数来做到这一点，我认为它有效。现在在唯一值列表中同时包含数字类别和 nan 值。

cols = itemgetter(0,3)(data.columns)
uniq_stats = pd.DataFrame(columns=['Val'],index=cols)
for each in cols:
    uniq_stats.loc[each] = ';'.join(map(str,data[each].unique()))

但是，如果有更好更快的方法，请分享。

,

我认为您可以将 .stack() 与 .groupby.unique() 一起使用

selected_cols = ['A','B'] 
s = data[selected_cols].stack(dropna=False).groupby(level=[1]).unique()
s.to_frame('vals')

           vals
A  [A,B,C,D]
B        [1,0]

另一种使用melt的方法。

pd.melt(data).groupby('variable')['value'].unique()


variable
A                    [A,D]
B                          [1,0]
C    [10,20,30,40,50,60,70]
D                       [Y,N,P]
Name: value,dtype: object