假设我有一个使用pandas.dataframe的列,如下所示:
id available_fruits
1 ['apple', 'banana']
1 []
2 ['apple', 'tomato']
1 ['banana']
2 ['kiwi']
我想创建没有重复的all_available_fruits列表,它应该是[‘apple’,’banana’,’kiwi’,’tomato’].
换句话说,我想在pandas.dataframe列中添加列表中的所有元素.我怎样才能做到这一点?
解决方法:
使用numpy.concatenate
进行flatennig然后使用numpy.unique
:
a = np.unique(np.concatenate(df['available_fruits'].values.tolist())).tolist()
print(a)
['apple', 'banana', 'kiwi', 'tomato']
另一个解决方案是通过chain.from_iterable展平,通过set得到唯一,最后转换为list:
from itertools import chain
a = list(set(chain.from_iterable(df.available_fruits.values.tolist())))
print(a)
['tomato', 'kiwi', 'apple', 'banana']
时序:
df = pd.concat([df]*10000).reset_index(drop=True)
#print (df)
In [62]: %timeit list(set(concat(df.available_fruits.values.tolist())))
100 loops, best of 3: 3.16 ms per loop
In [63]: %timeit np.unique(np.concatenate(df['available_fruits'].values.tolist())).tolist()
10 loops, best of 3: 99.2 ms per loop
#John galt's solution
In [64]: %timeit list(set(df.available_fruits.sum()))
1 loop, best of 3: 4.12 s per loop
#pir's solution 0
In [65]: %timeit list(set(concat(df.available_fruits.values.tolist())))
100 loops, best of 3: 3.16 ms per loop
#pir's solution 1
In [66]: %timeit list({k: 1 for x in df.available_fruits.values.tolist() for k in x})
100 loops, best of 3: 4.59 ms per loop
#pir's solution 2
In [67]: %%timeit
...: from sklearn.preprocessing import MultiLabelBinarizer
...:
...: mlb = MultiLabelBinarizer()
...: mlb.fit(df.available_fruits)
...: list(mlb.classes_)
...:
100 loops, best of 3: 4.07 ms per loop
#perigon's solution
In [68]: %timeit list(set([val for lst in df.available_fruits for val in lst]))
100 loops, best of 3: 5.1 ms per loop
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。