SPARK_WORKER_CORES和SPARK_EXECUTOR_CORES之间的区别？

如何解决SPARK_WORKER_CORES和SPARK_EXECUTOR_CORES之间的区别？

在使用独立群集管理器时如何将内核数配置为SPARK_WORKER_CORES和SPARK_EXECUTOR_CORES。

解决方法

根据spark文档here

SPARK_WORKER_CORES ：允许Spark应用程序在计算机上使用的内核总数（默认：所有可用内核）。

例如：如果您有一个由5个节点组成的集群（1个主节点和4个从节点），并且每个节点的配置是8核和32GB RAM ...因此，通过使用SPARK_WORKER_CORES，我们可以配置每个工作人员可以使用多少个spark核心（即节点）。 默认值是使用所有内核。提示>（提示：我们还需要为OS保留2个内核，为NM保留1个内核，为Spark Daemon保留1个内核）

SPARK_EXECUTOR_CORES ：此属性用于控制执行者级别的核心。 spark可以根据资源可用性为每个工作人员（即节点）启动许多执行程序。此条件应始终满足（SPARK_EXECUTOR_CORES

如果您配置SPARK_WORKER_CORES = 5个内核且SPARK_EXECUTOR_CORES = 1，则spark可以在每台计算机上运行5个执行程序。

注意：SPARK_WORKER_CORES属性仅在Spark独立模式下运行spark时才有意义。