如何解决如何解决 - 找不到数据源 org.apache.hadoop.hbase.spark
我已经编写了一个基本的 pyspark 代码并尝试连接到 HBASE 以读取和写入数据。似乎代码告诉无法找到数据源 org.apache.hadoop.hbase.spark。
当我提供包作为这样的参数时：spark-submit testpyspark.py --packages com.hortonworks:shc-core:1.1.1-2.1-s_2.11 --repositories http://repo.hortonworks.com/content/groups/public/
它仍然抛出异常：java.lang.ClassNotFoundException: Failed to find data source: org.apache.hadoop.hbase.spark. Please find packages at http://spark.apache.org/third-party-projects.html
我该如何调试这个问题？
下面是pyspark代码：
from pyspark import SparkContext,SparkConf,SQLContext
conf = SparkConf().setAppName("App").setMaster("local")
sc = SparkContext(conf=conf)
sqlContext = SQLContext(sc)
df = sqlContext.read.format('org.apache.hadoop.hbase.spark') \
.option('hbase.table','books') \
.option('hbase.columns.mapping',\
'title STRING :key,\
author STRING info:author,\
year STRING info:year,\
views STRING analytics:views') \
.option('hbase.use.hbase.context',False) \
.option('hbase.config.resources','file:///etc/hbase/conf/hbase-site.xml') \
.option('hbase-push.down.column.filter',False) \
.load()
df.show()
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
