微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

hive架构由哪几部分组成

这篇文章主要为大家展示了“hive架构由哪几部分组成”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“hive架构由哪几部分组成”这篇文章吧。

主要分为以下几个部分:

  • 用户接口,包括 命令行CLIClient,Web界面WUI,JDBC/ODBC接口等

  • 中间件:包括thrift接口和JDBC/ODBC的服务端,用于整合Hive和其他程序。

  • 元数据Metadata存储,通常是存储在关系数据库如 mysql, derby 中的系统参数

  • 底层驱动包括HiveQL解释器、编译器、优化器、执行器(引擎)。

  • Hadoop:用 HDFS 进行存储,利用 MapReduce 进行计算。

  1. 用户接口主要有三个:CLIClient 和 WUI。其中最常用的是 CLICli 启动的时候,会同时启动一个 Hive 副本。Client 是 Hive 的客户端,用户连接至 Hive Server。在启动 Client 模式的时候,需要指出 Hive Server 所在节点,并且在该节点启动 Hive Server。 WUI 是通过浏览器访问 Hive

  2. Hive 将元数据存储在数据库中,如 MysqLderbyHive 中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。

  3. 解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译生成执行计划、优化以及生成最佳执行计划。生成查询计划存储在 HDFS 中,并在随后有 MapReduce 调用执行。

  4. Hive 的数据存储在 HDFS 中,大部分的查询由 MapReduce 完成(包含 查询,比如 select * from tbl 不会生成 MapRedcue 任务)。

以上是“hive架构由哪几部分组成”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享内容对大家有所帮助,如果还想学习更多知识,欢迎关注编程之家行业资讯频道!

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐