迭代熊猫中唯一值的更快方法？

如何解决迭代熊猫中唯一值的更快方法？

我有一些熊猫代码正在尝试在大数据集上运行，尽管使用了apply，但看起来它实际上在迭代并运行缓慢……欢迎提出建议！

我正在尝试对数据进行分组。每行都有一个非唯一的事件ID，每个事件ID可以包含多个事件。如果这些事件中的任何一个是特定类型，我希望具有该ID的每一行都具有特定标志-例如，此ID中发生了此类事件。然后，我想导出仅带有ID的数据框，并带有该标志显示事件是否在该ID中发生。

这是我正在使用的代码：

no_duplicates = df.drop_duplicates(subset=["ID])

def add_to_clean(URN):
    single_df = df[df["URN"] == URN].copy()
    return single_df["Event_type"].sum() > 0

no_duplicates["Event_type"] = no_duplicates["ID"].swifter.apply(add_to_clean)

尽管我尝试使用Apply而不是loop，但它似乎仍在遍历整个代码并花了很多时间。关于如何提高效率的任何想法？

解决方法

如果需要由汇总值填充的新列，请使用GroupBy.transform代替apply + join，但是transform仅适用于一列Event_type：

no_duplicates["Event_type"] = no_duplicates.groupby("URN").Event_type.transform('sum') > 0