4.分布式搭建

修改hadoop的配置文件

 

首先修改core-site.xml，添加以下内容

 

                 <property>
                        <name>fs.defaultFS</name>
                        <value>hdfs://node1/</value>
                </property>

 

 

修改hdfs-site.xml

 

<property>
        <name>dfs.replication</name>
        <value>3</value>
</property>

 

 修改mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

 

 修改yarn-site.xml

<property>
            <name>yarn.resourcemanager.hostname</name>
            <value>node1</value>
  </property>
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>

 

 

 

修改workers文件，把datanode的节点配置进来

 

 

 修改hadoop-env.sh文件

 

 接下来我们把node1节点配置好的hadoop分发到其他机器上去

  scp -r hadoop-3.1.2/ hadoop@node2:/opt/modules/

 scp -r hadoop-3.1.2/ hadoop@node3:/opt/modules/

 scp -r hadoop-3.1.2/ hadoop@node4:/opt/modules/

 

 

接下来格式化namenode

 

启动hadoop