微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

无法在 spark 中编写 XML

如何解决无法在 spark 中编写 XML

使用下面的代码和下面的 sbt,我尝试在 spark 中从数据帧写入 XML,但出现以下错误

线程“main”中的异常 java.lang.classNotFoundException:无法找到数据源:com.databricks.spark.xml。请在 http://spark.apache.org/third-party-projects.html

找到包裹
import org.apache.spark.{SparkConf,SparkContext};
import org.apache.spark.sql.functions._
import org.apache.spark.sql.SparkSession
import com.databricks.spark.xml
object nestedutil_json 
{
def main(args: Array[String])=
{
val spk1 = SparkSession.builder().appName("Spark sql basics").getorCreate()
import spk1.implicits._
val df_read_json = spk1.read.schema(dataSchemanstd).json("/user/pic1/dataframe_nested_amount1.json")
df_read_json.printSchema
df_read_json.write.format("com.databricks.spark.xml").option("roottag","OfficeInfo").save("/user/pic1/xml/dataframe_nested.xml")
}
}





-----------Sbt file ------------

name := "testscala"
version := "2.1.1"
scalaVersion := "2.11.12"
libraryDependencies ++= Seq("com.typesafe.akka" %% "akka-actor" % "2.5.4","com.typesafe.akka" %% 
"akka-testkit" % "2.5.4" % Test,"org.apache.spark" %% "spark-core" % "2.1.1","org.apache.spark" %% 
"spark-sql" % "2.0.0","com.databricks" %% "spark-xml" % "0.3.3")

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。