我使用Apache Spark版本1.2.1和
Scala版本2.10.4.我想让示例
MovieLensALS正常工作.但是,我遇到了
scopt库的错误,这是代码中的一项要求.任何帮助,将不胜感激.
我的build.sbt如下:
我的build.sbt如下:
name := "Movie Recommender System" version := "1.0" scalaVersion := "2.10.4" libraryDependencies += "org.apache.spark" %% "spark-core" % "1.2.1" libraryDependencies += "org.apache.spark" %% "spark-graphx" % "1.2.1" libraryDependencies += "org.apache.spark" % "spark-mllib_2.10" % "1.2.1" libraryDependencies += "com.github.scopt" %% "scopt" % "3.2.0" resolvers += Resolver.sonatypeRepo("public")
我得到的错误如下:
Exception in thread "main" java.lang.NoClassDefFoundError: scopt/OptionParser at MovieLensALS.main(MovieLensALS.scala) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) at java.lang.reflect.Method.invoke(Method.java:597) at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:358) at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:75) at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) Caused by: java.lang.classNotFoundException: scopt.OptionParser at java.net.urlclassloader$1.run(urlclassloader.java:202) at java.security.AccessController.doPrivileged(Native Method) at java.net.urlclassloader.findClass(urlclassloader.java:190) at java.lang.classLoader.loadClass(ClassLoader.java:307) at java.lang.classLoader.loadClass(ClassLoader.java:248) ... 8 more Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
在运行sbt程序集来构建jar时,我收到以下错误:
[error] Not a valid command: assembly [error] Not a valid project ID: assembly [error] Expected ':' (if selecting a configuration) [error] Not a valid key: assembly [error] assembly [error] ^
编辑:根据Justin Piphony的建议,在sbt的GitHub页面中列出的解决方案帮助解决了这个错误.基本上在项目/目录中创建文件assembly.sbt并添加该行
addSbtPlugin(“com.eed3si9n”%“sbt-assembly”%“0.13.0”)
请注意,应根据使用的版本添加版本.
解决方法
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。