ITPub博客

首页 > 大数据 > Hadoop > 大数据测试学习笔记之测试工具集

大数据测试学习笔记之测试工具集

原创 Hadoop 作者:xyz蓝月 时间:2019-05-15 18:46:01 0 删除 编辑

大数据测试学习笔记之测试工具集

本文主要记录大数据测试的一些基本工具,以便后续用的时候能深入的去学习。

Bigbench

由Teradata、多伦多大学、InfoSizing、Oracle开发,其设计思想和利用扩展具有研究价值,可以参阅论文Bigbench:Towards an industry standard benchmark for big data analytics。

论文pdf:http://barbie.uta.edu/~hdfeng/bigdata/Papers/BigBench - towards an industry standard benchmark for big data analytics.pdf

Berkeley BigDataBench

随着Spark的推出,由AMPLab开发的一套大数据基准测试工具,官网介绍:https://amplab.cs.berkeley.edu/benchmark/

Hadoop GridMix

Hadoop自带的Benchmark,作为Hadoop自带的测试工具使用方便、负载经典,应用广泛

BigDataBenchmark

中科院研发,官方文档,哈哈,还是英文的资料:http://prof.ict.ac.cn/publications/

TPC-DS

广泛应用于SQL on Hadoop的产品评测。官网在这:http://www.tpc.org/tpcds/

可能需要你跑(翻)个(下)路(墙)才能到达。

Hibench

由Intel开发的针对Hadoop的基准测试工具,开源的,用户可以到Github库中下载:https://github.com/intel-hadoop/HiBench

Hadoop自带的基准测试工具

主要有TestDFSIO、mrbench和nnbench。

TestDFSIO用于测试HDFS的IO性能;nnbench用于测试NameNode的负载;mrBench多次反复执行一个小作业,用于测试在集群上小作业的运行是否可以重复以及运行是否高效。

文档资料在这:

http://www.michael-noll.com/blog/2011/04/09/benchmarking-and-stress-testing-an-hadoop-cluster-with-terasort-testdfsio-nnbench-mrbench/

BDGS数据生成器

用于基准测试的数据生成,BDGS在保留原始数据特性的基础上以小规模真实数据生成大规模数据,能够生成文本数据和图表数据。

pdf文档在这:

http://prof.ict.ac.cn/BigDataBench/old/2.0/wp-content/uploads/2013/10/BDGS_BigDataBench.pdf

对大数据以及人工智能概念都是模糊不清的,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习qq群:458345782,有大量干货(零基础以及进阶的经典实战)分享给大家,让大家了解到目前国内最完整的大数据高端实战实用学习流程体系 。从java和linux入手,其后逐步的深入到HADOOP-hive-oozie-web-flume-python-hbase-kafka-scala-SPARK等相关知识一一分享! 



来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/69903766/viewspace-2644522/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
软件专业毕业四年,想在平台跟大家一起学习交流

注册时间:2018-12-25

  • 博文量
    35
  • 访问量
    25012