ITPub博客

首页 > Linux操作系统 > Linux操作系统 > 《LoadRunner 没有告诉你的》之一——描述性统计与性能结果分析

《LoadRunner 没有告诉你的》之一——描述性统计与性能结果分析

原创 Linux操作系统 作者:ITPUB_PMSpace 时间:2008-01-23 18:41:31 0 删除 编辑

LoadRunner 中的 90 %响应时间是什么意思?这个值在进行性能分析时有什么作用?本文争取用最简洁的文字来解答这个问题,并引申出“描述性统计”方法在性能测试结果分析中的应用。

 

为什么要有 90 %用户响应时间?因为在评估一次测试的结果时,仅仅有平均事务响应时间是不够的。为什么这么说?你可以试着想想,是否平均事务响应时间满足了性能需求就表示系统的性能已经满足了绝大多数用户的要求?

假如有两组测试结果,响应时间分别是 {1 3 5 10 16} {5 6 7 8 9} ,它们的平均值都是 7 ,你认为哪次测试的结果更理想?

假如有一次测试,总共有 100 个请求被响应,其中最小响应时间为 0.02 秒,最大响应时间为 110 秒,平均事务响应时间为 4.7 秒,你会不会想到最小和最大响应时间如此大的偏差是否会导致平均值本身并不可信?

为了解答上面的疑问,我们先来看一张表:

在上面这个表中包含了几个不同的列,其含义如下:

CmdID    测试时被请求的页面

NUM       响应成功的请求数量

MEAN     所有成功的请求的响应时间的平均值

STD DEV       标准差(这个值的作用将在下一篇文章中重点介绍)

MIN               响应时间的最小值

50 th(60/70/80/90/95 th)           如果把响应时间从小到大顺序排序,那么 50 %的请求的响应时间在这个范围之内。后面的 60/70/80/90/95 th 也是同样的含义

MAX       响应时间的最大值

我想看完了上面的这个表和各列的解释,不用多说大家也可以明白我的意思了。我把结论性的东西整理一下:

1.       90 %用户响应时间在 LoadRunner 中是可以设置的,你可以改为 80 %或 95 %;

2.       对于这个表, LoadRunner 中是没有直接提供的,你可以把 LR 中的原始数据导出到 Excel 中,并使用 Excel 中的 PERCENTILE 函数很简单的算出不同百分比用户请求的响应时间分布情况;

3.       从上面的表中来看,对于 Home Page 来说,平均事务响应时间 (MEAN) 只同 70 %用户响应时间相一致。也就是说假如我们确定 Home Page 的响应时间应该在 5 秒内,那么从平均事务响应时间来看是满足的,但是实际上有 10-20 %的用户请求的响应时间是大于这个值的;对于 Page 1 也是一样,假如我们确定对于 Page 1 的请求应该在 3 秒内得到响应,虽然平均事务响应时间是满足要求的,但是实际上有 20-30 %的用户请求的响应时间是超过了我们的要求的;

4.       你可以在 95 th 之后继续添加 96/ 97/ 98/ 99/ 99.9/ 99.99 th ,并利用 Excel 的图表功能画一条曲线,来更加清晰表现出系统响应时间的分布情况。这时候你也许会发现,那个最大值的出现几率只不过是千分之一甚至万分之一,而且99 %的用户请求的响应时间都是在性能需求所定义的范围之内的;

5.       如果你想使用这种方法来评估系统的性能,一个推荐的做法是尽可能让你的测试场景运行的时间长一些,因为当你获得的测试数据越多,这个响应时间的分布曲线就越接近真实情况;

6.       在确定性能需求时,你可以用平均事务响应时间来衡量系统的性能,也可以用 90 %或 95 %用户响应时间来作为度量标准,它们并不冲突。实际上,在定义某些系统的性能需求时,一定范围内的请求失败也是可以被接受的;

7.       上面提到的这些内容其实是与工具无关的,只要你可以得到原始的响应时间记录,无论是使用 LoadRunner 还是 JMeter 或者 OpenSTA ,你都可以用这些方法和思路来评估你的系统的性能。

 

事实上,在性能测试领域中还有更多的东西是目前的商业测试工具或者开源测试工具都没有专门讲述的——换句话说,性能测试仅仅有工具是不够的。我们还需要更多其他领域的知识,例如数学和统计学,来帮助我们更好的分析性能数据,找到隐藏在那些数据之下的真相。 

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/12639375/viewspace-158505/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2008-01-04

  • 博文量
    188
  • 访问量
    371866