我正在寻找不同的选项,通过它我可以使用python直接将数据写入hdfs,而无需存储在本地节点上,然后使用copyfromlocal.
我想使用类似于本地文件的hdfs文件,并使用write方法将该行作为参数,具体如下：
hdfs_file = hdfs.create("file_tmp")
hdfs_file.write("Hello world\n")
是否存在类似于上述用例的内容？
解决方法:
我不确定python hdfs库,但你总是可以通过hadoop fs put命令流,并使用’ – ‘作为源文件名表示从stdin复制：
hadoop fs -put - /path/to/file/in/hdfs.txt
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
