如何解决如何从用pyspark编写的胶水ETL作业保存S3中的机器学习模型Kmeans？
我尝试了 model.save(sc,path) 它给了我错误：TypeError: save() 需要 2 个位置参数，但给出了 3 个。这里 sc 是 sparkcontext [sc = SparkContext()] 我尝试在签名中不使用 sc 但收到此错误：调用 o159.save 时发生错误。 java.lang.RuntimeException: java.lang.classNotFoundException: Class org.apache.hadoop.mapred.DirectOutputCommitter 未找到 我使用 boto3 pickle joblib 尝试了多种方法，但我没有成功找到有效的解决方案。我正在创建一个 KMeans 聚类模型。我需要一个粘合作业来拟合并在 S3 中保存模型，然后另一个粘合作业通过加载保存的模型来进行预测。 我是第一次这样做，任何帮助将不胜感激。
解决方法
在 SparkContext 解决我的问题后添加行。
sc = SparkContext()
sc._jsc.hadoopConfiguration().set("mapred.output.committer.class","org.apache.hadoop.mapred.DirectFileOutputCommitter")
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
