如何解决使用 pysparkling 在数据块中创建 H2OContext 时出错
我在数据块上使用 spark 版本 2.4.4 和 h2o-pysparkling-2.4 并运行以下代码
h2oConf = H2OConf().set('spark.sql.autobroadcastJoinThreshold','-1')
hc = H2OContext.getorCreate(conf=h2oConf)
有时它运行良好,但有时它给我以下错误
Py4JJavaError: An error occurred while calling o2542.getorCreate.
: org.apache.spark.SparkException: Exception thrown in awaitResult:
解决方法
- 确保未选中“启用自动缩放”。苏打水需要固定数量的节点。
- 尝试使用非机器学习运行时。
- 另外,检查您是否还有其他可能与 pysparkling 冲突的软件包。
您可以按照标准设置 here。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。