参考http://www.powerxing.com/install-hadoop/
在原文基础上做了些许调整。
安装环境:
ubuntu 14.04 ,64位
下载:
Oracle JDK 1.7
hadoop2.6
0、新增操作系统用户
sudo useradd -m hadoop -s /bin/bash
sudo passwd hadoop
sudo adduser hadoop sudo
1、安装jdk。
将jdk的tar.gz包解压缩到/usr/lib/jvm/下,重命名为java,
在~/.bashrc中添加环境变量:
export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre
export CLAsspATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
2、安装openssh server
sudo apt-get install openssh-server
3、设置SSH无密码登录
cd ~/.ssh/ # 若没有该目录,请先执行一次ssh localhost
ssh-keygen -t rsa # 会有提示,都按回车就可以
sudo cat ./id_rsa.pub >> ./authorized_keys # 加入授权,一定要加 sudo,否则可能仍需密码
在输入ssh localhost,无需密码就能直接登录了。
4、解压hadoop的 tar.gz包
sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop # 修改文件权限
5、hadoop的单机(非分布式)配置。
hadoop默认为单机模式,无需配置。
6、hadoop伪分布式配置。
修改hadoop安装文件夹/etc/hadoop/core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
修改hadoop安装文件夹/etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
7、执行NameNode的格式化
./bin/hdfs namenode -format
8、开启NameNode和Datanode的守护进程
./sbin/start-dfs.sh
# 如果这里报错: JAVA_HOME is not set and Could not be found
# 但 echo $JAVA_HOME 确实已经设置过 JAVA_HOME了
# 是因为集群模式的一个问题,需要在 hadoop-env.sh 中将 $JAVA_HOME 重新声明
运行完毕。
可以访问http://IP:50070在线查看hdfs中的文件
9、启动YARN。
重命名mapred-site.xml文件
mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml
编辑mapred-site.xml文件
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
启动 YARN
./sbin/start-yarn.sh # 启动YARN
./sbin/mr-jobhistory-daemon.sh start historyserver # 开启历史服务器,才能在Web中查看任务运行情况
可在线查看YARN的任务运行情况。
http://IP地址:8088/
原文地址:https://www.jb51.cc/ubuntu/353915.html
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。