如何解决如果启用 Apache Arrow,SparkR 代码将失败
我正在 SparkRDataframe 上运行 gapply 函数,如下所示
df<-gapply(sp_Stack,function(key,e) {
Sys.setlocale('LC_COLLATE','C')
suppresspackageStartupMessages({
library(Rcpp)
library(Matrix)
library(reshape)
require(parallel)
require(lubridate)
library(plyr)
library(reticulate)
library(stringr)
library(data.table)
})
calcDecsOnly(e,RequestNumber=RequestNumber,...)
},cols="udim",schema=schema3)
如果我们设置 spark.sql.execution.arrow.sparkr.enabled = "false" 上面的代码运行没有任何错误,但是如果我设置 spark.sql.execution.arrow.sparkr.enabled = "true" 火花作业失败并出现以下错误
Caused by: java.io.EOFException
at java.io.DataInputStream.readInt(DataInputStream.java:392)
at org.apache.spark.sql.execution.r.ArrowRRunner$$anon$2.read(ArrowRRunner.scala:154)
环境:Google Cloud Dataproc 火花版本:3.1.1 Dataproc 版本:基于 2.0.9-debian10 构建的自定义映像
感谢这里的任何帮助,提前致谢
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。