微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

使用pyhdfsHTTPConnectionPool将本地文件放入HDFS时出错

如何解决使用pyhdfsHTTPConnectionPool将本地文件放入HDFS时出错

我想使用pyhdfs在我的hdfs系统上进行操作。我可以正常获取lstdirNameNode的信息,但是我无法将本地文件放到系统中,出现这样的错误

ConnectionError:httpconnectionPool(host ='ali',port = 50075):URL超过最大重试次数:/webhdfs/v1/HarryPotter/harry%20potter2.txt?op=CREATE&user.name=root&namenoderpcaddress=ali:9000&overwrite=false (由NewConnectionError(“ :未能建立新连接:[Errno 11001] getaddrinfo失败”引起))

我已经尝试将max_triesretry_delay设置为一个较大的数字,但是还是有问题。这是我的代码(本地文件位于正确的路径):

import pyhdfs
fs = pyhdfs.HdfsClient(hosts='my_ip_here,50070',user_name='root',max_tries=10,retry_delay=2000)
path='/HarryPotter/'
print('Path existed!') if fs.exists(path) else fs.mkdirs(path)
file = 'harry potter2.txt'
print('File existed!') if fs.exists(path+file) else fs.copy_from_local(file,path+file)

感谢帮助:)

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。