ITPub博客

如何使用hammerdb进行MySQL基准测试

原创 MySQL 作者:沃趣科技 时间:2017-12-18 14:08:09 0 删除 编辑

沃趣科技高级数据库工程师   罗小波




如何使用hammerdb进行MySQL基准测试.

1、hammerdb安装与配置

1.1. 什么是hammerdb

  • HammerDB是针对Oracle,Microsoft SQL Server,IBM DB2,TimesTen,MySQL,MariaDB,PostgreSQL,Postgres Plus Advanced Server等数据以及Greenplum,Redis,Amazon Aurora和Redshift以及Hadoop上的传统 SQL的开源数据库负载测试和基准测试工具。

    • 可以模拟TPC-C测试模型(是在线事务处理OLTP的基准程序),主要用于模拟一个批发商的货物管理环境,测试结果由TPC-C吞吐率衡量,标准测试模型中的单位是tpmC(在hammerdb中,测试结果的单位是tpm,不是tpmC。tpm表示每分钟的事务交易数量。tpmC是TPC-C的事务交易单位)

    • 也可以模拟TPC-H测试模型(是在线分析处理OLAP的基准程序),主要用来模拟供应商和采购商之间的交易行为,测试结果由TPCH Power来衡量,该值与数据量和交易平均时间有关,表示一个小时内能够完成的复杂交易的数量

1.2. 安装

  • 下载hammerdb安装包

点击(此处)折叠或打开

  1. wget https://nchc.dl.sourceforge.net/project/hammerora/HammerDB/HammerDB-2.23/HammerDB-2.23-Linux-x86-64-Install
  • 下载文件是一个安装程序,直接执行这个程序进行安装

点击(此处)折叠或打开

  1. [root@master /root]
  2. #chmod +x HammerDB-2.23-Linux-x86-64-Install
  3. [root@master /root]
  4. #./HammerDB-2.23-Linux-x86-64-Install
  5. This will install HammerDB on your computer. Continue? [n/Y] y
  6. Where do you want to install HammerDB? [/usr/local/HammerDB-2.23]
  7. Installing HammerDB...
  8. Installing Program Files...
  9. Installation complete.
  • 查看安装目录

点击(此处)折叠或打开

  1. [root@master /root]
  2. #cd /usr/local/HammerDB-2.23/
  3. [root@master /usr/local/HammerDB-2.23]
  4. #ll
  5. total 1508
  6. drwx------ 2 root 4096 Dec 5 15:51 agent
  7. drwxr-xr-x 2 root 4096 Dec 5 15:51 bin
  8. -rw-r--r-- 1 root 25744 Jun 16 19:24 ChangeLog
  9. -rw-r--r-- 1 root 13789 Jun 8 01:05 config.xml
  10. -rw-r--r-- 1 root 618 Dec 20 2016 COPYRIGHT
  11. -rw-r--r-- 1 root 18009 Feb 16 2013 hammerdb.license
  12. -rwxr--r-- 1 root 7050 Mar 14 2017 hammerdb.tcl
  13. drwxr-xr-x 2 root 4096 Dec 5 15:51 hdb-components
  14. drwxr-xr-x 2 root 4096 Dec 5 15:51 hdb-modules
  15. drwxr-xr-x 2 root 4096 Dec 5 15:51 include
  16. drwxr-xr-x 21 root 4096 Dec 5 15:51 lib
  17. -rw-r--r-- 1 root 883 Mar 14 2017 readme
  18. -rwxr-xr-x 1 root 1433874 Dec 5 15:51 uninstall

1.3. 配置

  • 环境变量

点击(此处)折叠或打开

  1. [root@master /usr/local/HammerDB-2.23]
  2. #export MYSQL_HOME=/usr/local/mysql/
  3. [root@master /usr/local/HammerDB-2.23]
  4. #echo 'export MYSQL_HOME=/usr/local/mysql/' >> /etc/profile
  5. [root@master /usr/local/HammerDB-2.23]
  6. #export LD_LIBRARY_PATH=/usr/local/HammerDB-2.23/lib/:$MYSQL_HOME/lib
  7. [root@master /usr/local/HammerDB-2.23]
  8. #echo 'export LD_LIBRARY_PATH=/usr/local/HammerDB-2.23/lib/:$MYSQL_HOME/lib' >> /etc/profile
  9. [root@master /usr/local/HammerDB-2.23]
  10. #export PATH=$MYSQL_HOME/bin:$PATH
  11. [root@master /usr/local/HammerDB-2.23]
  12. #echo 'export PATH=$MYSQL_HOME/bin:$PATH' >> /etc/profile
  • 安装hammerdb GUI依赖包

点击(此处)折叠或打开

  1. [root@master /usr/local/HammerDB-2.23]
  2. #yum install libXScrnSaver xorg-x11-fonts* -y
  • 验证环境变量

点击(此处)折叠或打开

  1. [root@master /usr/local/HammerDB-2.23]
  2. #cd /usr/local/HammerDB-2.23/
  3. [root@master /usr/local/HammerDB-2.23]
  4. #ll
  5. total 1512
  6. drwxr-xr-x 2 root 4096 Dec 5 09:29 bin
  7. -rw-r--r-- 1 root 13849 Apr 7 2011 ChangeLog
  8. -rw-r--r-- 1 root 4287 Apr 7 2011 config.xml
  9. -rw-r--r-- 1 root 609 Mar 30 2011 COPYRIGHT
  10. -rw-r--r-- 1 root 18009 Mar 14 2007 hammerora.license
  11. -rwxr--r-- 1 root 38983 Mar 30 2011 hammerora.tcl
  12. drwxr-xr-x 2 root 4096 Dec 5 09:29 hora-components
  13. drwxr-xr-x 2 root 4096 Dec 5 09:29 include
  14. drwxr-xr-x 9 root 4096 Dec 5 09:29 lib
  15. -rw-r--r-- 1 root 608 Mar 30 2011 readme
  16. -rwxr-xr-x 1 root 1434065 Dec 5 09:29 uninstall
  17. [root@master /usr/local/HammerDB-2.23]
  18. #./bin/tclsh8.6
  19. % package require mysqltcl # 检测环境变量
  20. 3.05 # 这个地方如果正常输出一个版本号而无报错,说明环境变量配置生效
  21. % exit # 退出交互窗口
  • PS:如果安装了sysbench 1.0,则可能报如下错误

点击(此处)折叠或打开

  1. [root@master /usr/local/HammerDB-2.23]
  2. #./bin/tclsh8.6
  3. % package require mysqltcl
  4. couldn't load file "/usr/local/HammerDB-2.23/lib/mysqltcl-3.052/libmysqltcl3.052.so": /usr/lib64/libmysqlclient.so.18: version `libmysqlclient_18' not found (required by /usr/local/HammerDB-2.23/lib/mysqltcl-3.052/libmysqltcl3.052.so)
  5. # 此时,我们把sysbench 1.0中percona的那个依赖包软链去掉,就可以了
  6. [root@master /root]
  7. #locate libmysqlclient.so.18
  8. /home/mysql/program/mysql-5.6.34-linux-glibc2.5-x86_64/lib/libmysqlclient.so.18
  9. /home/mysql/program/mysql-5.6.34-linux-glibc2.5-x86_64/lib/libmysqlclient.so.18.1.0
  10. /home/woqu/qdata-dev-env/mysql5.5.25a/lib/libmysqlclient.so.18
  11. /home/woqu/qdata-dev-env/mysql5.5.25a/lib/libmysqlclient.so.18.0.0
  12. /usr/lib64/libmysqlclient.so.18
  13. [root@master /root]
  14. #ll /usr/lib64/libmysqlclient.so.18
  15. lrwxrwxrwx 1 root 22 Nov 1 11:56 /usr/lib64/libmysqlclient.so.18 -> libmysqlclient_r.so.16
  16. [root@master /root]
  17. #unlink /usr/lib64/libmysqlclient.so.18
  18. [root@master /root]
  19. #ln -s /home/mysql/program/mysql-5.6.34-linux-glibc2.5-x86_64/lib/libmysqlclient.so.18 /usr/lib64/libmysqlclient.so.18
  20. # 如果需要使用sysbench 1.0时,重新换一下软链即可,当然,由于这里我们是使用的MySQL 5.6.x的lib库,两者都可以使用,无需换软链
  • 修改配置文件

    • 所有HammerDB的工作数据都可以在hammerdb界面启动之后,使用菜单选项进行临时设置。 但是,如果你经常需要做某个测试,希望这些配置持久化而不需要每次都去临时设置,那么你可以在HammerDB的工作目录下名为config.xml的配置文件中进行设置,该配置文件将在hammerdb启动时读取。 在这个文件中,您可以通过编辑xml文件来预设模式构建和驱动程序配置,而无需每次都去临时手动更改。 如果你的xml文件格式正确(无格式错误),当你在测试过程中选择对应的菜单选项时,你在xml文件中设置的变量将被应用到HammerDB上,例如(这里我们只看mysql的tpc-c部分):
  1. [root@master /usr/local/HammerDB-2.23]
  2. #pwd
  3. /usr/local/hammerora-2.6
  4. [root@master /usr/local/HammerDB-2.23]
  5. #cat config.xml
  6. xml version="1.0" encoding="utf-8"?>
  7. ...
  8. Oracle<!--rdbms>
  9. TPC-C<!--bm>
  10. <!--benchmark>
  11. <!--oracle>
  12. 127.0.0.1<!--mysql_host>
  13. 3306<!--mysql_port>
  14. <!--connection>
  15. 128<!--my_count_ware>
  16. 128<!--mysql_num_threads>
  17. hammerdb<!--mysql_user>
  18. hammerdb<!--mysql_pass>
  19. tpcc<!--mysql_dbase>
  20. innodb<!--storage_engine>
  21. false<!--mysql_partition>
  22. <!--schema>
  23. 1000000<!--my_total_iterations>
  24. false<!--my_raiseerror>
  25. false<!--my_keyandthink>
  26. standard<!--mysqldriver>
  27. 2<!--my_rampup>
  28. 5<!--my_duration>
  29. false<!--my_allwarehouse>
  30. false<!--my_timeprofile>
  31. <!--driver>
  32. <!--tpcc>
  33. ...
  34. <!--mysql>
  35. ...
  36. <!--hammerdb>
  • PS:

    • mysql_num_threads设置一定不能比my_count_ware仓库数量大,否则后面造数会卡在创建存储过程的地方

    • 生产环境压测,仓库建议不少于100个,仓库数量太少时,并发线程数(虚拟用户数量)增加时,会有大量线程因为操作同一行记录而导致大量锁等待(基本在commit阶段)

    • 生产环境中my_total_iterations中总的迭代查询量不建议不低于500W,这里为了快速演示,保留默认的100W

    • 由于hammerdb是GUI界面的,需要使用securecrt或xshell等终端工具配置X11协议转发,且最好使用终端工具直连安装hammerdb的服务器,否则配置起来非常繁琐

  • 登录待测试的MySQL实例,创建测试账号




  1. mysql grant all on tpcc.* to hammerdb@'%' identified by 'hammerdb';
  2. Query OK, 0 rows affected, 1 warning (0.03 sec)
  3. mysql>

1.4. 启动

  • 启动hammerdb



  1. [root@master /usr/local/HammerDB-2.23]
  2. #cd /usr/local/HammerDB-2.23/
  3. [root@master /usr/local/HammerDB-2.23]
  4. #./hammerdb.tcl
  • 启动之后界面如下

  • PS:如果在xshell和securecrt终端启动报错,请按照如下链接介绍的方法处理(mac版本的securecrt可能因为部分版本有BUG,无法弹窗,那就用虚拟机吧,虽然xshell可以弹窗,但是确没有mac版本)

2、如何使用hammerdb测试MySQL

2.1. 在GUI窗口进行配置与造数

  • 双击左侧MySQL,如下图


  • 在弹出的窗口中,选择MySQL和TPC-C,如下图

  • 切换基准测试数据库类型之后,依次展开TPC-C->Schema Build,并双击Options

  • 在弹出的窗口中,配置好相关的参数(由于之前我们配置过config.xml文件,所以这里已经有填写好的默认值了,这里无需再填写),如下图

  • 然后点击如下图所示的"build"或者按钮,开始创建基准测试数据库

  • 然后,可以看到如下输出信息,注意:下面1,2,3,4,5,6…这个输出行的status列不能出现一把红叉的情况,如果有则表示发生了报错,当worker完成后,监视线程会创建索引、存储过程并收集统计信息。虚拟用户1将显示信息“TPCC SCHEMA COMPLETE”字样,其他所有虚拟用户将显示已成功完成其操作的字样,如果没有看到,则说发生了错误。可以在最下方的文本输出框查看报错信息

  • 现在,我们使用MySQL命令行客户端登录数据库,可以查看到当前的一些连接进程和数据库表



  1. mysql> show processlist;
  2. ......
  3. | 7173 | hammerdb | 10.10.30.14:44066 | tpcc | Query | 1 | update | insert into stock (`s_i_id`, `s_w_id`, `s_quantity`, `s_dist_01`, `s_dist_02`, `s_dist_03`, `s_dist_ |
  4. | 7174 | hammerdb | 10.10.30.14:44067 | tpcc | Sleep | 1 | | NULL |
  5. | 7175 | hammerdb | 10.10.30.14:44068 | tpcc | Sleep | 2 | | NULL |
  6. | 7176 | hammerdb | 10.10.30.14:44069 | tpcc | Sleep | 1 | | NULL |
  7. | 7177 | hammerdb | 10.10.30.14:44070 | tpcc | Query | 0 | starting | insert into stock (`s_i_id`, `s_w_id`, `s_quantity`, `s_dist_01`, `s_dist_02`, `s_dist_03`, `s_dist_ |
  8. | 7178 | hammerdb | 10.10.30.14:44071 | tpcc | Sleep | 1 | | NULL |
  9. +------+----------+-------------------+--------------------+---------+------+-------------------+------------------------------------------------------------------------------------------------------+
  10. 131 rows in set (0.00 sec)
  11. mysql> use tpcc
  12. Reading table information for completion of table and column names
  13. You can turn off this feature to get a quicker startup with -A
  14. Database changed
  15. mysql> show tables;
  16. +----------------+
  17. | Tables_in_tpcc |
  18. +----------------+
  19. | customer |
  20. | district |
  21. | history |
  22. | item |
  23. | new_order |
  24. | order_line |
  25. | orders |
  26. | stock |
  27. | warehouse |
  28. +----------------+
  29. 9 rows in set (0.00 sec)
  • 造数完成之后,可以看到“TPCC SCHEMA COMPLETE”字样,如下图

  • schema创建完成之后,我们可以登录数据库中简单查询以下数据(注意:如果以下三个语句任意一个查询到无结果,说明造数失败,会导致后续load测试无法进行)



  1. # 查询表中的数据
  2. mysql use tpcc
  3. Database changed
  4. mysql> select * from warehouse limit 1 \G
  5. *************************** 1. row ***************************
  6. w_id: 1
  7. w_ytd: 3000000.00
  8. w_tax: 0.1700
  9. w_name: QDomcHSyn
  10. w_street_1: hEvTR42ePpREnM
  11. w_street_2: 0JfWR5A2quAudxrLyA
  12. w_city: EzRKodmYv0
  13. w_state: 9l
  14. w_zip: 966011111
  15. 1 row in set (0.00 sec)
  16. # 查询表中的索引
  17. mysql> show indexes from warehouse \G
  18. *************************** 1. row ***************************
  19. Table: warehouse
  20. Non_unique: 0
  21. Key_name: PRIMARY
  22. Seq_in_index: 1
  23. Column_name: w_id
  24. Collation: A
  25. Cardinality: 10
  26. Sub_part: NULL
  27. Packed: NULL
  28. Null:
  29. Index_type: BTREE
  30. Comment:
  31. Index_comment:
  32. 1 row in set (0.00 sec)
  33. # 查询存储过程
  34. mysql> select routine_name from information_schema.routines where routine_schema = 'TPCC';
  35. +--------------+
  36. | routine_name |
  37. +--------------+
  38. | DELIVERY |
  39. | NEWORD |
  40. | OSTAT |
  41. | PAYMENT |
  42. | SLEV |
  43. +--------------+
  44. 5 rows in set (0.01 sec)

2.2. 使用hammerdb进行oltp基准测试

  • 前面2.1小节已经按照tpc-c模型(oltp模型)创建好了测试库tpcc,现在,我们基于tpcc库进行oltp测试

  • 造数完成之后,我们点击"Destroy Virtual Users"按钮停止造数的进程

  • 然后左侧列表双击"Driver Script"

  • 弹出如下图对话框,这里有两个TPC-C驱动程序脚本,您可以选择标准驱动程序脚本(Standard Driver Script)或定时测试驱动程序脚本(Timed Test Driver Script),此选项选择不同的值会动态修改掉左侧"Driver Script"下的"Load"加载的脚本内容,该脚本是由左侧菜单"Virtual User"配置的虚拟用户运行的脚本,用于执行基准测试。这两种选项加载的不同驱动程序脚本的区别如下:

    • Standard Driver Script:不定时,用于无法估计测试时长或者想手动选择恰当的时机终止的场景,选择该脚本,在Virtual User Output标签页中或输出日志文件中会打印具体的执行SQL

    • Timed Test Driver Script:指定测试时长的驱动程序脚本,选择该项可以设置Minutes of Rampup Time和Minutes for Test Duration两个配置项,前者是指定预热时长,后者是指定总的基准测试时长,选择该脚本,在Virtual User Output标签页或输出日志文件中,只有虚拟用户列表,不打印具体的SQL

    • PS:为了方便演示基准测试曲线,我们这里选择第一种,如下图

  • 双击左侧菜单"Virtual User"下的"Load",载入标准测试驱动程序脚本

  • 然后,创建虚拟用户

    • 注意:虚拟用户有一个主用户,用于收集其他虚拟用户的统计值和返回状态,主用户包含在你指定的用户数量之内,因此,如果你希望有128个用户(128个并发连接数),那么,你需要创建129个用户,如下图,双击"Virtual User"下的"Options",弹出如下窗口

  • 要注意:下图中的"Show Output"选项建议勾选,否则基准压测过程中的相关日志输出无法打印(Virtual User Output标签页)

    • Show Output:勾选之后会打印虚拟用户列表和相关的日志输出到Virtual User Output标签页

    • Log Output to Temp:勾选之后会创建/tmp/hammerdb.log文件,用于存放压测过程中的日志输出信息

    • Use Unique Log Name:勾选之后会为每次压测创建一个唯一的日志输出文件,用于存放压测过程中的日志输出信息,例如:/tmp/hammerdb_5A267C6555F903E273734353.log

    • No Log Buffer:勾选之后不缓冲日志

  • 然后双击"Virtual User"下的"Create"按钮,创建虚拟用户(准备要并发连接线程,注意此时数据库中并未真正创建连接)

  • 然后双击左侧"Virtual User"下的"Run",开始执行基准测试

  • 此时,登录到数据库中,你可以发现有129个hammerdb用户的线程在运行



  1. mysql show processlist;
  2. ......
  3. | 7302 | hammerdb | 10.10.30.14:44195 | tpcc | Query | 0 | closing tables | COMMIT |
  4. | 7303 | hammerdb | 10.10.30.14:44196 | tpcc | Sleep | 0 | | NULL |
  5. | 7304 | hammerdb | 10.10.30.14:44197 | tpcc | Query | 0 | query end | INSERT INTO order_line (ol_o_id, ol_d_id, ol_w_id, ol_number, ol_i_id, ol_supply_w_id, ol_quantity, |
  6. | 7305 | hammerdb | 10.10.30.14:44198 | tpcc | Query | 0 | updating | UPDATE order_line SET ol_delivery_d = timestamp
  7. WHERE ol_o_id = d_no_o_id AND ol_d_id = d_d_id AND
  8. o |
  9. | 7306 | hammerdb | 10.10.30.14:44199 | tpcc | Query | 0 | optimizing | SELECT s_quantity, s_data, s_dist_01, s_dist_02, s_dist_03, s_dist_04, s_dist_05, s_dist_06, s_dist_ |
  10. | 7307 | hammerdb | 10.10.30.14:44200 | tpcc | Sleep | 0 | | NULL |
  11. | 7308 | hammerdb | 10.10.30.14:44201 | tpcc | Query | 0 | NULL | COMMIT |
  12. +------+----------+-------------------+------+---------+------+-------------------+------------------------------------------------------------------------------------------------------+
  13. 131 rows in set (0.00 sec)
  • 此时,我们需要查看tpm的值,可以点击如下图所示的按钮

  • 然后,可以从如下图所示的窗口中,等待几十秒即可看到数值,再过一会就可以看到曲线图,使用曲线图可以更直观地发现性能抖动问题

  • 如果要终止测试和终止tpm统计输出,可以依次点击如下图所示的两个按钮(第一个表示终止基准测试,第二个表示终止tpm统计输出)

3、总结

  • 我们平时测试MySQL时,大多数时候都是使用的sysbench、tpcc-mysql等基准测试工具,现在,你可以尝试着使用hammerdb来对MySQL做一做基准测试,虽然hammerdb测试工具大多数时候我们听到的都是用于oracle测试。但却不失为一种选择。另外,前面提到过,hammerdb还支持olap场景的基准测试,大家有兴趣的可以试一试。
-->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/28218939/viewspace-2148813/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
杭州沃趣科技股份有限公司创建于2012年(股票代码:839849),是一家专注为企业用户提供基于高性能、高可用、可扩展的开放数据库云平台解决方案的国产厂商。公司创始团队为原阿里巴巴数据库技术团队核心骨干,凭借丰富的研发及运维经验,为行业客户提供数据库云产品及软硬件一体化解决方案。

注册时间:2016-07-18

  • 博文量
    157
  • 访问量
    602081