如何解决Sparksql 执行 hive lzo 压缩外部表失败
我使用 spark sql 加载带有 LZO 压缩的 hive 表。报错如下：
引起：java.lang.classNotFoundException： com.hadoop.mapred.DeprecatedLzoTextInputFormat at java.net.urlclassloader.findClass(urlclassloader.java:381) 在 java.lang.classLoader.loadClass(ClassLoader.java:424) 在 java.lang.classLoader.loadClass(ClassLoader.java:357) 在 java.lang.class.forName0(Native Method) 在 java.lang.class.forName(Class.java:348) 在 org.apache.spark.util.Utils$.classForName(Utils.scala:239) 在 org.apache.spark.sql.hive.client.HiveClientImpl$.org$apache$spark$sql$hive$client$HiveClientImpl$$toInputFormat(HiveClientImpl.scala:892) 在
我做了什么：
set
spark.driver.extraClasspath /usr/hdp/current/hadoop-client/lib/hadoop-lzo-0.6.0.3.1.4.0-315.jar
spark.driver.extraLibraryPath /usr/hdp/current/hadoop-client/lib/native:/usr/hdp/current/hadoop-client/lib/native/Linux-amd64-64
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
