微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

从 Cloudera Hadoop 迁移到 HDINSIGHT

如何解决从 Cloudera Hadoop 迁移到 HDINSIGHT

谁能告诉我。我有 HQL 脚本,我曾经使用 hive -f scriptname.hql 在 Cloudera 上运行这些脚本现在我想在 HDINSIGHT(Hadoop 集群)中运行这些脚本,但是 HDINSIGHT 中没有 hive 命令行。有人可以指导我如何做到这一点。

解决方法

beeline -u 'jdbc:hive2://headnodehost:10001/;transportMode=http' -i query.hql

任何人都有使用上述的经验而不是

hive -f query.hql

,

我看没有其他方法可以执行 HQL 文件。您可以参考此文档-https://docs.microsoft.com/en-us/azure/hdinsight/hadoop/apache-hadoop-use-hive-beeline#run-a-hiveql-file

您也可以使用zookeeper quorum(圈起来)来避免头节点故障转移期间查询失败

enter image description here

beeline -u '<zookeeper quorum>' -i /path/query.hql
,

创建环境变量:

export hivef="beeline -u 'jdbc:hive2://hn0-hdi-uk.witechmill.co.uk:10001/default;principal=hive/_HOST@witechmill.CO.UK;auth-kerberos;transportMode=http' -n umerrkhan "

witechmill 是我的集群名称

然后使用下面的调用脚本

$hivef scriptname.hql

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。