微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

spark 启动thrift server实现hive on spark

在 spark的conf下 创建 hive-site.xml
不过在CDH中,hive是认为hive on spark的,而不是mr

新增下面内容

<configuration>
    <property>
      <name>hive.metastore.client.connect.retry.delay</name>
      <value>5</value>
    </property>
    <property>
      <name>hive.metastore.client.socket.timeout</name>
      <value>1800</value>
    </property>
    <property>
      <name>hive.metastore.connect.retries</name>
      <value>24</value>
    </property>
    <property>
      <name>hive.metastore.uris</name>
      <value>thrift://www.cdh001.com:9083</value>
    </property>
    <property>
      <name>hive.server2.thrift.port</name>
      <value>10015</value>
    </property>
    <property>
      <name>hive.server2.transport.mode</name>
      <value>binary</value>
    </property>
  </configuration>

hive.metastore.uris为hive的元数据获取地址
10015为jdbc连接spark的端口

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐