如何解决pySpark中分组数据的模式
首先,计算每个(x,y)组合的出现次数。
counts = df.groupBy(['x', 'y']).count().alias('counts')
counts.show()
## +---+---+-----+
## | x| y|count|
## +---+---+-----+
## | 0| 1| 2|
## | 0| 3| 2|
## | 0| 4| 2|
## | 1| 1| 3|
## | 1| 3| 1|
## +---+---+-----+
解决方案1:按“ x”分组,通过取每组中计数的最大值进行汇总。最后,删除“计数”列。
result = (counts
.groupBy('x')
.agg(F.max(F.struct(F.col('count'),
F.col('y'))).alias('max'))
.select(F.col('x'), F.col('max.y'))
)
result.show()
## +---+---+
## | x| y|
## +---+---+
## | 0| 4|
## | 1| 1|
## +---+---+
解决方案2:使用窗口,按“ x”进行分区,并按“ count”列进行排序。现在,在每个分区中选择第一行。
win = Window().partitionBy('x').orderBy(F.col('count').desc())
result = (counts
.withColumn('row_num', F.rowNumber().over(win))
.where(F.col('row_num') == 1)
.select('x', 'y')
)
result.show()
## +---+---+
## | x| y|
## +---+---+
## | 0| 1|
## | 1| 1|
## +---+---+
由于行的排序方式,两个结果有不同的结果。如果没有联系,则两种方法得出的结果相同。
解决方法
我有一个带有多个列的spark DataFrame。我想根据一列对行进行分组,然后为每个组找到第二列的模式。使用pandas
DataFrame,我将执行以下操作:
rand_values = np.random.randint(max_value,size=num_values).reshape((num_values/2,2))
rand_values = pd.DataFrame(rand_values,columns=['x','y'])
rand_values['x'] = rand_values['x'] > max_value/2
rand_values['x'] = rand_values['x'].astype('int32')
print(rand_values)
## x y
## 0 0 0
## 1 0 4
## 2 0 1
## 3 1 1
## 4 1 2
def mode(series):
return scipy.stats.mode(series['y'])[0][0]
rand_values.groupby('x').apply(mode)
## x
## 0 4
## 1 1
## dtype: int64
在pyspark中,我能够找到单列的模式
df = sql_context.createDataFrame(rand_values)
def mode_spark(df,column):
# Group by column and count the number of occurrences
# of each x value
counts = df.groupBy(column).count()
# - Find the maximum value in the 'counts' column
# - Join with the counts dataframe to select the row
# with the maximum count
# - Select the first element of this dataframe and
# take the value in column
mode = counts.join(
counts.agg(F.max('count').alias('count')),on='count'
).limit(1).select(column)
return mode.first()[column]
mode_spark(df,'x')
## 1
mode_spark(df,'y')
## 1
我不知道如何将该功能应用于分组数据。如果不可能直接将此逻辑应用于DataFrame,是否可以通过其他方法达到相同的效果?
先感谢您!
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。