ref:
Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)
Tips:
在配置伪分布式Hadoop前,需要创建hadoop用户、安装java环境等,详情可以参考上述厦大的教程或者单机Hadoop2.6.5的安装与使用
下载安装Hadoop3.1.4
Hadoop3.1.4伪分布配置
修改配置文件 core-site.xml
修改后的结果如下:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
修改hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
执行 NameNode 格式化
Tips:若直接使用./bin/hdfs namenode -format可能会出现 permission denied的报错,在前面加上sudo即可
返回以下结果代表成功:
如果在这一步时提示 Error: JAVA_HOME is not set and Could not be found. 的错误,则查看/usr/local/hadoop/etc/hadoop/hadoop-env.sh文件
并在文件中加入以下语句(jdk版本需根据自己安装的版本定义)
开启 NameNode 和 Datanode 守护进程
Tips:若运行时出现以下报错,则是log文件权限不够,修改文件权限即可
修改后即可成功启动
若修改文件权限后出现localhost: ERROR: Cannot set priority of datanode process xxxx错误,则需要修改.bashrc文件中的配置或者将/bin/hdfs里的文件修改
或
https://blog.csdn.net/qq_37494825/article/details/90232203
若出现如下SSH提示,输入yes即可
启动后,可以使用jps检验是否成功启动
hadoop的运行实例也可以参考http://dblab.xmu.edu.cn/blog/2441-2/,即博文最上方的链接
个人运行结果:
Tips:如果在运行过程中出现No such file or directory的报错,只需要在input或output前加上/user/hadoop即可
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。