微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

YourHDFS 封装了 Hadoop Client 的 API

程序名称:YourHDFS

授权协议: Apache

操作系统: 跨平台

开发语言: Java

YourHDFS 介绍

一个封装了Hadoop
Client的简单、方便的API,已经在生产环境中经受日千万级别次IO操作的检验。

支持以下功能

1)自定义HDFS目录前缀

2)支持时间目录格式

3)支持文件固定大小切分

4)支持一段时间内无IO操作文件自动关闭

5)支持中文

6)支持namenode自动探测实现failover.

7)API本身是线程安全的.

8)API的参数发生变化对用户使用是透明的,框架内部透明处理, [线程,参数]组合对应着一个文件

HDFS的原理图:

YourHDFS 官网

http://git.oschina.net/qiangzigege/YourHDFS

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐