hadoop archive合并小文件并进行mapreduce来减少map的数量
这是一篇介绍hadoop archive的文章 ： https://www.cnblogs.com/staryea/p/8603112.html
有些文章说经过hadoop archive的文件，mapreduce的时候会有很多的map但是经过测试，证明这种说法是错误的(http://hadooptutorial.info/har-files-hadoop-archive-files/)
如下：原始文件 四个文件
经过hadoop archive之后：
执行的命令是：hadoop archive -archiveName words.har -p /words -r 1 /wordhar
生成的文件在/wordhar/words.har
其中part-0是数据文件
在mapreduce中，会忽略以下划线开头的文件，也就是说上图的_SUCCESS,_index,_masterindex是不会处理的
那么这样一来就只会处理数据文件part-0
job设置的输入路径是
运行mapreduce中执行的map数量是1
分片为一个
map数量为一个
课件通过hadoop archive的文件也可以进行mapreduce
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/31506529/viewspace-2217579/ ，如需转载，请注明出处，否则将追究法律责任。
