微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!
apache-spark-standalone专题提供apache-spark-standalone的最新资讯内容,帮你更好的了解apache-spark-standalone。
我正在容器内以独立模式运行Spark。我可以设置SPARK_WORKER_MEMORY,也可以设置jvm堆大小,但是我应该如何
在使用独立群集管理器时如何将内核数配置为SPARK_WORKER_CORES和SPARK_EXECUTOR_CORES。
我试图了解如何限制用户以独立方式在共享机密方法之外提交Spark应用程序。 我可以在Spark Standalone
我的系统上部署了 2 个 spark master 和 3 个 zookeeper,分别位于不同的虚拟机上。服务按以下顺序上线:
我们使用具有动态分配和外部 shuffle 服务的 Spark 3.0.1(独立模式)。 在切换到专用永久性磁盘后,
我已经设置了 Spark 独立模式,有 1 个 master 和 2 个 worker。我使用 spark-submit 启动了 spark 应用程序(java ja
我正在运行我的 spark 程序,它在本地工作但不是远程工作。 我的程序有这些组件(容器): <ul> <li>
我正在尝试更改在独立集群模式下运行的苏打水的流目录。 我尝试了以下选项,但它没有对此提出任何
我正在尝试向我的独立 <code>spark-2.4.5-bin-hadoop2.7</code> 集群提交一个简单的 Spark 应用程序。我使用 docker-c
我有一个独立的 Spark 集群,由一个主节点和两个工作节点组成,每个工作节点有 4 个内核和 4 GB 内存。
我正在尝试运行 pyspark shell,但在执行时: <pre><code>(test3.8python) [test@JupyterHub ~]$ python3 /home/test/spark3.1.
我正在尝试运行 Spark 流文档中提到的简单字数统计示例。当我放置 conf.setMaster("local[*]") 时,java 应用程
TL;博士: 如何在独立集群中提交 Spark 作业时修复 <code>java.lang.IllegalStateException: Cannot find any build dir
我正在使用以下 docker-compose 映像来构建 Spark 独立集群: <pre><code>--- # -----------------------------------------
使用以下命令为 apache spark 运行独立模式集群后: <pre><code>node 1 (192.168.1.10): ./sbin/start-master.sh -h 192.
我有一个 Ubuntu 服务器,我在其中运行了一个主服务器和一个从服务器(一个执行程序),它们显示在 80
Spark 独立集群配置(Spark 3.0.0)- <ul> <li>1 位大师</li> <li>2 个工人(每个 4 个核心)</li> </ul> 我正在