这篇文章主要介绍了Hadoop输入和输出的处理类有哪些，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。
hadoop输入的处理类
InputFormat
InputFormat负责处理MR的输入部分。
作用：
1、验证作业的输入是否规范。
2、把输入文件切分成InputSplit。
3、提供RecordReader的实现类，把InputSplit读到Mapper中进行处理。
FileInputFormat
FileInputFormat是所有以文件作为数据源的InputFormat实现的基类，FileInputFormat保存为Job输入的所有文件，并实现了对输入文件计算splits的方法。至于获得记录的方法是由不同的子类---TextInputFormat进行实现的。
TextInputFormat
文件中每一行作为一个记录，他将每一行在文件中的起始偏移量作为key，每一行的内容作为value，默认以\n或回车键作为一行记录。
注意：TextInputFormat集成了FileInputFormat。
InputSplit
在执行MapReduce之前，原始数据被分割成若干Split，每个Split作为一个Map任务的输入，在Map执行过程中Split会被分解成一个个记录(key-value键值对)，Map会依次处理每一个记录。
Hadoop将MapReduce的输入数据划分成等长的小数据块，称为输入分片(InputSplit)或简称分片。
Hadoop为每个分片构建一个Map任务，并由该任务来运行用户自定义的Map函数从而处理分片中的每条记录。
Hadoop在存储有输入数据(HDFS中的数据)的节点运行Map任务，可以获得最佳性能。这就是所谓的数据本地化优化。
最佳分片的大小应该与块大小相同：
因为它是确保可以存储在单个节点上的最大输入块的大小。如果分片跨越2个数据块，那么对于任何一个HDFS节点，基本上都不可能同时存储着2个数据块，因此分片中的部分数据需要通过网络传输到Map任务节点，。与使用本地数据运行整个Map任务相比，这种方法显然效率更低。
其他输入类
CombineFileInputFormat
相对于大量的小文件来说，Hadoop更合适处理少量的大文件。
CombineFileInputFormat可以缓解这个问题，它是针对小文件而设计的。
keyvalueTextInputFormat
当输入数据的每一行是两列，并用Tab分离的形式的时候，keyvalueTextInputFormat处理这种格式的文件非常适合。
NlineInputFormat
可以控制在每个Split中数据的行数。
SequenceFileInputFormat
当输入文件格式是SequenceFile的时候，要使用SequenceFileInputFormat作为输入。
自定义输入格式
1、集成FileInputFormat基类；
2、重写getSplits(JobContext context)方法；
3、重写createRecordReader(InputSplit split,TaskAttemptContext context)方法；
Hadoop输出的处理类
textoutputFormat
SequenceFileOutputFormat
将key和value以sequence格式输出。
SequenceFileAsOutputFormat
将key和value以原始二进制的格式输出。
MapFileOutputFormat
将key和value写入MapFile中，由于MapFile中的key是有序的，所以写入的时候必须保证记录是按Key值顺序写入的。
MultipleOutputFormat
默认情况下一个Reduce会产生一个输出，但是有些时候我们想一个Reduce产生多个输出，MultipleOutputFormat和MultipleOutputs可以实现这个功能。
感谢你能够认真阅读完这篇文章，希望小编分享的“Hadoop输入和输出的处理类有哪些”这篇文章对大家有帮助，同时也希望大家多多支持编程之家，关注编程之家行业资讯频道，更多相关知识等着你来学习!
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
