我正在尝试使用Mllib构建一个非常简单的
scala独立应用程序,但是当尝试打破程序时会收到以下错误:
Object Mllib is not a member of package org.apache.spark
然后,我意识到我必须添加Mllib作为依赖关系如下:
version := "1" scalaVersion :="2.10.4" libraryDependencies ++= Seq( "org.apache.spark" %% "spark-core" % "1.1.0","org.apache.spark" %% "spark-mllib" % "1.1.0" )
未解决依赖性spark-core_2.10.4; 1.1.1:未找到
所以我不得不修改它
“org.apache.spark”%“spark-core_2.10”%“1.1.1”,
未解决依赖性spark-mllib; 1.1.1:未找到
解决方法
@lmm指出,您可以将库包含为:
libraryDependencies = Seq(
“org.apache.spark”%“spark-core_2.10”%“1.1.0”,
“org.apache.spark”%“spark-mllib_2.10”%“1.1.0”
)
在sbt %%中包含scala版本,您正在使用Scala版本2.10.4构建,而Spark工件通常以2.10版本发布.
应该注意的是,如果要组装一个程序集jar来部署应用程序,则可能希望标记spark-core,例如.
libraryDependencies = Seq(
“org.apache.spark”%“spark-core_2.10”%“1.1.0”%“提供”,
“org.apache.spark”%“spark-mllib_2.10”%“1.1.0”
)
因为火花核心包将会在执行器的路径上.
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。