如何解决在Databricks中使用Sparklyr进行因子分析
我想通过在Factor Analysis
中使用dplyr::collect()
来执行Databricks
,但是由于它的大小,我得到了这个错误:
Error : org.apache.spark.sql.execution.OutOfMemorySparkException: Total memory usage during row decode exceeds spark.driver.maxResultSize (4.0 GB). The average row size was 82.0 B
sparklyr
中是否有一个函数可以用来进行此分析而不收集数据?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。