微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

sparklyr不创建执行程序

如何解决sparklyr不创建执行程序

我正在尝试使用以下参数创建火花连接:

library(sparklyr)

conf <- spark_config()
conf$`sparklyr.cores.local` <- 6
conf$`sparklyr.shell.driver-memory` <- "16G"
conf$`spark.executor.cores` <- 2
conf$`spark.executor.memory` <- "2G"
conf$`sparklyr.verbose` <- TRUE
conf$`sparklyr.log.console` <- TRUE
conf$`spark.executor.instances` <- 4
conf$`spark.dynamicAllocation.enabled` <- FALSE

sc <- spark_connect(master = "local",config = conf,log = "console",version = "3.0.0")

它确实连接并在spark_session_config(sc)上正确显示

$spark.executor.instances
[1] "4"

$spark.executor.cores
[1] "2"

$spark.driver.memory
[1] "16G"

$spark.master
[1] "local[16]"

$spark.sql.shuffle.partitions
[1] "16"

$spark.sql.legacy.utcTimestampFunc.enabled
[1] "true"

$spark.dynamicAllocation.enabled
[1] "false"

$spark.driver.port
[1] "65404"

$spark.submit.deployMode
[1] "client"

$spark.executor.id
[1] "driver"

$spark.jars
[1] "file:/C:/Users/B2623385/Documents/R/win-library/3.6/sparklyr/java/sparklyr-3.0-2.12.jar"

$spark.submit.pyFiles
[1] ""

$spark.app.id
[1] "local-1600432415127"

$spark.env.SPARK_LOCAL_IP
[1] "127.0.0.1"

$spark.sql.catalogImplementation
[1] "hive"

$spark.executor.memory
[1] "2G"

$spark.spark.port.maxRetries
[1] "128"

$spark.app.name
[1] "sparklyr"

$spark.home
[1] "C:\\Users\\B2623385\\AppData\\Local\\spark\\spark-3.0.0-bin-hadoop2.7"

$spark.driver.host
[1] "127.0.0.1"

但是,当我转到http://127.0.0.1:4040/executors/时,表明我只有驱动程序执行程序正在运行:

enter image description here

我已经尝试过切换spark版本,并且声明了一个最不起眼的环境,但是,我仍然遇到同样的问题。 我想念什么?

我的最终目标是copy_to()一个数据帧连接到Spark连接,R继续运行,而http://127.0.0.1:4040/executors/看起来什么也没发生。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其他元素将获得点击?
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。)
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbcDriver发生异常。为什么?
这是用Java进行XML解析的最佳库。
Java的PriorityQueue的内置迭代器不会以任何特定顺序遍历数据结构。为什么?
如何在Java中聆听按键时移动图像。
Java“Program to an interface”。这是什么意思?