Spark SQL中的迭代广播联接

如何解决Spark SQL中的迭代广播联接

我最近遇到了这个talk的关于在Spark SQL中使用“ 迭代”广播联接来处理歪斜的问题，以在将大表与另一个不是很小的表联接时提高查询性能。演讲建议使用“迭代广播联接”解决此类情况。不幸的是，这次演讲还没有深入到我无法理解其实现的程度。

因此，我希望有人能通过几个示例阐明如何在Spark SQL中实现此迭代广播联接。如何使用带有 SQL-API 的Spark SQL查询实现相同的功能？

注意：我正在使用Spark SQL查询2.4

感谢您的帮助。谢谢

解决方法

迭代广播连接：大的可能值得考虑的方法是迭代地获取较小（但不是那个小）表的切片，广播这些表，与较大表联接，然后合并结果。

要解决这个问题，有一个概念叫做：

i） Salting Technique：：在此过程中，我们向密钥添加一个随机数，并使数据均匀分布在群集中。下面通过一个示例让我们来看一下

在上图中，假设我们要在大表和小表上执行联接，然后将数据分成三个执行器x，y和z，如下所示，然后进行合并，由于我们有数据偏斜，因此所有X都将在一个执行器中，并且Y在另一个执行器中，z在另一个执行器中。 由于Y和Z数据相对较小，它将完成并等待X执行程序完成，这将需要一些时间。 因此，为了提高性能，我们应该获取X执行者数据，并将其均匀分布在所有执行者中 由于数据滞留在一个执行器上，我们将向所有键（无论是大表还是小表）添加一个随机数，然后执行我们的过程

添加随机数：键= explode（key，range（1,3）），将得到key_1，key_2，key_3

现在，如果您看到的是在执行者之间平均分配，则可以提供更快的性能

如果您需要更多帮助，请观看此视频：

https://www.youtube.com/watch?v=d41_X78ojCg&ab_channel=TechIsland

以及此链接： https://dzone.com/articles/improving-the-performance-of-your-spark-job-on-ske#:~:text=Iterative%20(Chunked)%20Broadcast%20Join,table%2C%20then%20unioning%20the%20result。