微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如何使用 hdfscli python 库?

如何解决如何使用 hdfscli python 库?

我有以下用例,
我想连接一个远程 hadoop 集群。因此,我获得了所有的 hadoop conf 文件(coresite.xml、hdfs-site.xml 和其他)并将其存储在本地文件系统的一个目录中。我获得了用于 kerberos 身份验证的正确密钥表和 krb5.conf 文件。我安装了 hadoop 并将 untar 文件放在某个目录下,比如 /User/xyz/hadoop。 我设置了以下环境变量: JAVA_HOME(),HADOOP_HOME,HADOOP_CONF_DIR 并最终将我的 krb5.conf 文件放在 /etc/ 下。此设置帮助我成功使用 kinit -kt <keytab> <principal user> 进行身份验证,并从本地终端执行 hadoop fs -ls / 等 hadoop 命令并访问集群。

但是,我想在不下载 hadoop 的情况下执行相同的操作。有办法吗?我正在使用 python 并遇到 this hdfs python library。但是,我很难理解和使用这个库。

  1. 我正在努力实现的目标,这可能吗?
  2. 如果是这样,正确的方法是什么?
  3. 有人可以指导我使用正确的配置设置 hdfscli 库吗?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。