微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

java.lang.NoClassDefFoundError: org/apache/spark/sql/sources/v2/ReadSupport - 从数据湖读取数据到 spark 时出错

如何解决java.lang.NoClassDefFoundError: org/apache/spark/sql/sources/v2/ReadSupport - 从数据湖读取数据到 spark 时出错

我创建了一个新的 databricks 集群,并安装了以下库。 集群版本 - 7.6(包括 Apache Spark 3.0.1、Scala 2.12)

spark_cdm_connector_0_19_1.jar,neo4j_connector_apache_spark_2_12_4_0_1_for_spark_3.jar,com.microsoft.azure:spark-cdm-connector:0.19.1 - maven 文件, neo4j-contrib:neo4j-connector-apache-spark_2.12:4.0.1_for_spark_3 - maven 文件

但是在将 CDM 数据从 datalake 借给 databrick 时,我遇到了错误 java.lang.NoClassDefFoundError: org/apache/spark/sql/sources/v2/ReadSupport

我是否需要更改databricks集群的配置或更新配置文件? 谢谢

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。