如何解决无法使用 spark-submit 调用特定包
你要使用的包是spark-redis。
pyspark --master yarn --packages com.redislabs:spark-redis:2.4.1
上面的pyspark-shell允许你使用spark-redis包，但是如果你使用spark-submit传递包
/usr/bin/spark-submit /var/lib/jupyter/Spark2/test_redis.py --packages com.redislabs:spark-redis:2.3.0
: java.lang.classNotFoundException: Failed to find data source: org.apache.spark.sql.redis. Please find packages at http://spark.apache.org/ third-party-projects.html
我收到一条错误消息。 这是为什么？
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
