如何解决Py4JJavaError:调用 o10695.write 时出错 : java.lang.StackOverflowError
我有一个 4000 列的 Pyspark 数据框,其中大约 3000 个恰好是空列。当我将输出写入 S3 时,出现以下错误。请注意,当空列数低于 500 且其余 3500 列已填充数据时,相同的代码可以正常工作。所以我认为问题可能在于 DF 中的空列过多。
错误如下:
Py4JJavaError: An error occurred while calling o10695.write.
: java.lang.StackOverflowError
at org.apache.spark.sql.catalyst.plans.logical.LogicalPlan.isstreaming(LogicalPlan.scala:37)
at org.apache.spark.sql.catalyst.plans.logical.LogicalPlan$$anonfun$isstreaming$1.apply(LogicalPlan.scala:37)
at org.apache.spark.sql.catalyst.plans.logical.LogicalPlan$$anonfun$isstreaming$1.apply(LogicalPlan.scala:37)
at scala.collection.LinearSeqOptimized$class.exists(LinearSeqOptimized.scala:93)
at scala.collection.immutable.List.exists(List.scala:84)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。