使用Dask数据框将同一组的行转换为单个行

如何解决使用Dask数据框将同一组的行转换为单个行

我有一个像这样的dask数据框：

group index col1 col2 col3
1     1     5    3    4
1     2     4    3    7
1     3     1    2    9
-----------------------
2     2     4    3    7
2     3     1    2    9
2     4     7    4    3
-----------------------
3     3     1    2    9
3     4     7    4    3
3     5     6    3    2

这基本上是一个滚动窗口，其中每个组在数据集中都有其行和多于x的行。我需要将其更改为以下内容：

group col1_1 col2_1 col3_1 col1_2 col2_2 col3_2 col1_3 col2_3 col3_3
1     5      3      4      4      3      7      1      2      9
2     4      3      7      1      2      9      7      4      3
3     1      2      9      7      4      3      6      3      2 

因此对于每个组，我都有一行包含该组中所有值的行。每组的行数是恒定的，但可以更改，这意味着可以为10，但是对于整个数据集，则为10。在大熊猫中，我找到了一种使用此页面link中的这段代码的方法。

indexCol = dff.index.name
dff.reset_index(inplace=True)
colNames = dff.columns    
df = pd.pivot_table(dff,index=[indexCol],columns=dff.groupby(indexCol).cumcount().add(1),values=colNames,aggfunc='sum')
df.columns = df.columns.map('{0[0]}{0[1]}'.format)

问题是，dask数据透视表不能像熊猫一样工作，并且我所读的内容不允许多索引，因此此代码不适用于dask数据帧。我也无法在dask数据帧中创建compute（），因为该数据集对我的内存来说太大了，所以我应该将其保留在dask中。

非常感谢您的帮助

解决方法

好吧，我最终弄清楚了，所以我将其发布在这里：

with cte as (
    select nid from tbl_category where name = 'mobile'
    union all
    select ca.nid from cte ct inner join tbl_category ca on ca.parentid = ct.nid
)
select p.*
from tbl_productions p
inner join cte ct on ct.nid = p.nid

其中colNames是原始数据集的列（问题中的col1，col2和col3），而indexCol是groupby列的名称（问题中的group）。基本上，我们为每个组创建一个字典，并将其作为一行附加到数据框。 dictMeta创建元数据是因为有时如果没有元数据，就会发生错误。