Spark 如何实现任务间的内存公平？

如何解决Spark 如何实现任务间的内存公平？

我正在观看有关 Spark 内存管理的 presentation。

他谈到了他们如何在一个执行程序中实现不同任务之间的公平性 (12:00)。他提出了任务之间动态分配的想法，并宣称如果更多任务开始执行，Spark 会将其他任务的页面溢出到磁盘。

我之前读过 Spark 中的任务本质上是线程，而在 Java 中，我们没有这种能力来管理线程的内存并在它们之间建立内存公平性。我想知道 Spark 是如何做到这一点的？

解决方法

我不确定公平是否有效。

• 这是对每个 Executor https://www.davidmcginnis.net/post/spark-job-optimization-myth-5-increasing-executor-cores-is-always-a-good-idea 超过 1 个内核的 executor 内存的出色读取，这与溢出到磁盘无关。

• 溢出到磁盘对于可用内存来说太大了。一个分区也可以被完全驱逐，导致重新计算（从上一个检查点开始）。

我所在的范式与本文类似，因为我们使用单个核心运行了更多的执行器。 Spark 的默认值也确实是 1，我认为这是供应商经过深思熟虑的默认值。