Flume采集数据时在HDFS上产生大量小文件的问题
调用agent 配置文件的：
#Describe the sink 添加：
a1.sinks.k1.hdfs.rollSize=0
a1.sinks.k1.hdfs.rollCount=0 rollSize 默认值：1024，当临时文件达到该大小（单位：bytes）时，滚动成目标文件。如果设置成0，则表示不根据临时文件大小来滚动文件。 rollCount 默认值：10，当events数据达到该数量时候，将临时文件滚动成目标文件，如果设置成0，则表示不根据events数据来滚动文件。
还有另一种出现大量小文件对应的解决方案，即设置a1.sinks.k1.hdfs.minBlockReplicas=1。因为文件会因为所在块的复制而滚动文件 待测试......
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/31441024/viewspace-2168827/ ，如需转载，请注明出处，否则将追究法律责任。
上一篇：
【Hive】matadata梳理
请登录后发表评论
登录
全部评论
