Spark SQL-查找每年一个月的最大值

我创建了一个数据框架，其中包含年，月和事件发生（计数）。

enter image description here

我想使用Spark sql查找每年发生事件最多的月份。

如果要使用SQL，可以使用窗口函数：

select t.*
from (select t.*,row_number() over (partition by year order by count desc) as seqnum
      from t
     ) t
where seqnum = 1;

即使存在最大数量的联系，每年也会返回一行。如果要在发生平局时所有这些行，请使用rank()而不是row_number()。

您可以使用窗口功能：

select *
from (select t.*,rank() over(partition by year order by cnt desc) rn from mytable t) t
where rn = 1

对于每一年，这都会为您提供cnt最多的行。如果有关系，查询将返回它们。

请注意，count是SQL中的语言关键字，因此不是列名的理想选择。我在查询中将其重命名为cnt。