我目前正在使用hadoop 1.2.1(因为我需要运行一个空间处理软件才支持这个版本).我正在尝试在多节点模式下部署一个主服务器和三个从服务器.
我确信我能够在没有密码(包括他们自己)的情况下在所有主服务器和从服务器之间进行ssh.此节点上的主机名也是正确的.
每个节点共享相同的主机文件:
192.168.56.101 master 192.168.56.102 slave1 192.168.56.103 slave2 192.168.56.104 slave3
我一直在奴隶节点遇到问题,错误日志信息如下,
2015-05-21 23:39:16,841 ERROR org.apache.hadoop.hdfs.server.datanode.Datanode: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: file:/// at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:164) at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:212) at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:244) at org.apache.hadoop.hdfs.server.namenode.NameNode.getServiceAddress(NameNode.java:236) at org.apache.hadoop.hdfs.server.datanode.Datanode.startDatanode(Datanode.java:359) at org.apache.hadoop.hdfs.server.datanode.Datanode.<init>(Datanode.java:321) at org.apache.hadoop.hdfs.server.datanode.Datanode.makeInstance(Datanode.java:1712) at org.apache.hadoop.hdfs.server.datanode.Datanode.instantiateDatanode(Datanode.java:1651) at org.apache.hadoop.hdfs.server.datanode.Datanode.createDatanode(Datanode.java:1669) at org.apache.hadoop.hdfs.server.datanode.Datanode.secureMain(Datanode.java:1795) at org.apache.hadoop.hdfs.server.datanode.Datanode.main(Datanode.java:181
core-site.xml中的配置
<configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> </configuration>
在mapred-site.xml中:
<configuration> <property> <name>mapred.job.tracter</name> <value>master:8012</value> </property> </configuration>
在hdfs-site.xml中:
<configuration> <property> <name>dfs.replication</name> <value>3</value> </property> </configuration
解决方法
尝试在所有配置文件中将“master”更改为实际的ip地址.
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。