聚集盐以抵抗偏斜

如何解决聚集盐以抵抗偏斜

我目前正在尝试了解Salt的概念以应对Skew。不幸的是，我找不到足够的信息来帮助我在Spark中聚合（例如Group By和Window等）的背景下对Salting的概念有所了解。 sql。

到目前为止，我认为含盐聚合需要2次通过。因此，我将以下代表第一遍的代码段放在一起。但是，我无法从那里继续。有人可以帮我继续使用Spark SQL查询的几个示例吗？

通过I：

create temporary view salt1 
as
select cust,item,cast(rand() * 10 as int) as salt
from tab1;

create temporary view salt2
as
select cust,item
from (select cust,row_number() over (partition by salt,cust order by purch) as row_num
     from salt1
     )
where row_num = 1;

感谢您的帮助。