如何解决尝试使用 pyspark SQL 上下文连接两个文件时出现 RuntimeException
您能否帮助我理解为什么在尝试使用 pyspark sql 上下文连接两个文件时会出现 RuntimeException？我通过注释掉其中一行然后运行代码，尝试了下面的两种 sql 查询方法，但错误不断出现。
非常感谢
这是我的代码：
#input data
vin = sqlContext.read.format('com.databricks.spark.csv').options(header='true',inferschema='true').load("hdfs://andromeda.eecs.qmul.ac.uk/data/bitcoin/vin.csv")
vout = sqlContext.read.format('com.databricks.spark.csv').options(header='true',inferschema='true').load("hdfs://andromeda.eecs.qmul.ac.uk/data/bitcoin/vout.csv")
#filter
voutf = vout.filter(vout['pubkey']== "{?1HB5XMLmzFVj8ALj6mfBsbifRoD4miY36v}")
#use spark sql to join
vin.createOrReplaceTempView("vinsql")
voutf.createOrReplaceTempView("voutsql")
#method1
join1 = sqlContext.sql("select * from vinsql i,voutsql o where i.txid == o.pubkey")
#method2
join1 = sqlContext.sql("SELECT vinsql.*,voutsql.* FROM vinsql JOIN voutsql ON vinsql.txid =
voutsql.pubkey")
错误信息如下：
pyspark.sql.utils.AnalysisException: u'org.apache.hadoop.hive.ql.Metadata.HiveException:
java.lang.RuntimeException: Unable to instantiate
org.apache.hadoop.hive.ql.Metadata.SessionHivemetastoreClient;'
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
