在Spark SQL中派生分区数

我们处理项目中的大型数据集，因此我们在Spark SQL查询中（尤其是在Joins中）经常遇到性能问题。因此，我试图找出优化这些查询的方法。

任何人都可以帮助我理解-

如何确定编号。当前将特定表划分为一组分区。（这将有助于确定是否重新分区表以优化联接）

如何确定最佳编号需要设置Join以根据参与表的大小最佳运行的分区数？是否有任何经验法则可以得出这个数字，以使Join / Aggregation等达到最佳性能？

感谢您的帮助。谢谢。