Hadoop中自带了一个符合工业标准的基准测试工具TeraSort，用来比较hadoop的性能。这个工具尝试使用整个集群尽可能的对数据进行排序。
TeraSort分为三个模块：
1.TeraGen ：该模块用来生成数据作为输入文件，通常在500G~3TB。
2.TeraSort ：该模块在Hadoop集群内对输入文件进行排序，并在MapReduce和HDFS两个层次上给Hadoop集群加压力，分别有计算、网络带宽和I/O响应三个方面。
3.TeraValidate ：该模块用于调整精度并效验排序后的数据
示例：
1.产生一个10G小大的输入文件：
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-*examples*.jar teragen 104857600 /data/input
2.用产生的输入文件进行排序：
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-*examples*.jar terasort /data/input /data/output
完成了TeraSort我们就获得了性能基线，现在我们就可以更改配置参数迭代过程来进行分析优化了。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/29754888/viewspace-1696647/ ，如需转载，请注明出处，否则将追究法律责任。
请登录后发表评论
登录
全部评论
