MapReduce输出格式化详解

2018-01-20 11:05:14来源:oschina作者:王水起人点击

分享

MapReduce中有多种输出格式,用户可以灵活的定义文件输出的路径、文件名、输出格式等,本文列举常用的七种处理方式,解析去应用场景和使用方法,如有错误,欢迎指正。


1)FileOutputFormat 常用的父类;


2)TextOutputFormat 默认输出字符串输出格式;


3)SequenceFileOutputFormat 序列化文件输出;


4)MultipleOutputs 可以把输出数据输送到不同的目录;


5) NullOutputFormat 把输出输出到/dev/null中,即不输出任何数据,这个应用场景是在MR中进行了逻辑处理,同时输出文件已经在MR中进行了输出,而不需要在输出的情况;


6)LazyOutputFormat 只有在调用write方法是才会产生文件,这样的话,如果没有调用write就不会产生空文件;


7)DBOutputFormat 适用于将作业输出数据(中等规模的数据)转存到Mysql、Oracle等数据库;使用DBOutputFormat以MapReduce的方式运行,会并行的连接数据库。在这里需要合适的设置map、reduce的个数,以便将并行连接的数量控制在合理的范围之内。

最新文章

123

最新摄影

闪念基因

微信扫一扫

第七城市微信公众平台