如何解决PySpark Streaming,写入时产生错误
我目前有一个脚本,该脚本从S3存储桶中获取数据并生成一个数据帧。我想将数据帧发送到雪花。目前,我正在这样做
df_write = df \
.write\
.format(SNowFLAKE_SOURCE_NAME)\
.options(**sfOptions)\
.option("dbtable","test_table")\
.mode("append")\
.save()
产生的错误是
An error occurred while calling o72.save.
: java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V
at net.sNowflake.spark.sNowflake.Parameters$MergedParameters.<init>(Parameters.scala:294)
at net.sNowflake.spark.sNowflake.Parameters$.mergeParameters(Parameters.scala:288)
at net.sNowflake.spark.sNowflake.DefaultSource.createRelation(DefaultSource.scala:97)
at org.apache.spark.sql.execution.datasources.SaveIntoDataSourceCommand.run(SaveIntoDataSourceCommand.scala:45)
at org.apache.spark.sql.execution.command.ExecutedCommandExec.sideEffectResult$lzycompute(commands.scala:70)
我认为这可能是版本不匹配的错误。当前我正在使用hadoop-aws-2.7.3.jar,spark-sNowflake_2.12-2.8.1-spark_3.0.jar,雪花-jdbc-3.12.8.jar
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。