ITPub博客

首页 > Linux操作系统 > Linux操作系统 > 调优之iostat

调优之iostat

原创 Linux操作系统 作者:dragon路 时间:2011-08-01 08:41:11 0 删除 编辑

用途

  报告中央处理器(CPU)统计信息和整个系统、适配器、tty 设备、磁盘和 CD-ROM 的输入/输出统计信息。

语法

  iostat [ -s ] [ -a ] [ -d | -t ] [ -T ][ -m ][ PhysicalVolume ... ] [ Interval [ Count ] ]

描述

  iostat 命令用来监视系统输入/输出设备负载,这通过观察与它们的平均传送速率相关的物理磁盘的活动时间来实现。iostat 命令生成的报告可以用来更改系统配置来更好地平衡物理磁盘和适配器之间的输入/输出负载。
  由 iostat 命令生成的第一份报告提供了关于自从系统被引导后的时间统计信息。后继的每一份报告都包含自上一次报告以来的时间。每次运行 iostat 命令时,就报告所有的统计信息。报告由紧接着一行 tty 和 CPU 统计信息的 tty 和 CPU 头行组成。在多处理器系统上,CPU 统计信息是系统范围计算的,是所有处理器的平均值。
  如果指定 -s 标志,则显示系统头行,随后是一行整个系统的统计信息。系统的主机名被打印在系统头上。
  如果指定 -a 标志,就会显示一个适配器头行,随后是一行适配器的统计信息。这后面将回有一个磁盘头行和连接到适配器的所有磁盘/CD-ROM 的统计信息。为所有与系统连接的磁盘适配器生成这种报告。
  显示一个磁盘头行,随后是一行配置的磁盘的统计信息。如果指定 PhysicalVolume 参数,则只显示那些指定的名称。
  如果指定 PhysicalVolume 参数,那么可以指定一个或者更多的字母或者字母数字的物理卷。如果指定 PhysicalVolume 参数,就会显示 tty 和 CPU 报告并且磁盘报告包含指定驱动器的统计信息。如果没有发现指定逻辑驱动器名,那么报告将列出指定的名称并且显示没有找到驱动器的消息。如果没有指定逻辑驱动器名,报告则包含所有已配置的磁盘和 CD-ROM 的统计信息。如果系统上没有配置驱动器,则不生成磁盘报告。PhysicalVolume 参数中的第一个字符不能为数字型。
  Interval 参数指定了在每个报告之间的以秒计算的时间量。第一份报告包含了自系统启动(引导)以来的时间统计信息。每一份后继报告都包含在和前一份报告的时间间隔之间收集的统计信息。Count 参数可被指定来连接 Interval 参数。如果指定了 Count 参数,它的记数值就确定在 Interval 秒间生成的报告数。如果指定了 Interval 参数但没有 Count 参数,iostat 命令就会不断生成报告。
  iostat 命令用来确定一个物理卷是否正在形成一个性能瓶颈,以及是否有可能改善这种情况。物理卷的 % 使用率字段表明了文件活动在驱动器中分布多均匀。物理卷的高 % 使用率是表明也许存在这个资源的争用很好的征兆。由于 CPU 使用率的统计信息同样适用于 iostat 报告,CPU 在 I/O 等待队列中的时间的百分比可以在同一时间确定。如果 I/O 等待时间是有效数字并且磁盘使用率不是在卷上均匀分布,那么就要考虑在驱动器上分布数据。
  注: 一些系统资源被消耗是为了为 iostat 命令维护磁盘 I/O 的历史记录。使用sysconfig子例程,或者系统管理接口工具(SMIT)来停止历史记录账户。报告iostat 命令生成四种类型的报告,tty 和 CPU 使用率报告、磁盘使用率报告、系统吞吐量报告和适配器吞吐量报告。
  tty 和 CPU 使用率报告由 iostat 命令生成的第一份报告是 tty 和 CPU 使用率报告。对于多处理器系统,CPU 值是所有处理器的总平均。同时,I/O 等待状态是系统级定义的,而不是每个处理器。报告有以下格式:
  
描述
tin 显示了系统为所有 tty 读取的字符总数。
tout 显示了系统为所有 tty 写入的字符总数。
% user 显示了在用户级(应用程序)执行时产生的 CPU 使用率百分比。
% sys 显示了在系统级(内核)执行时产生的 CPU 使用率百分比。
% idle 显示了在 CPU 空闲并且系统没有未完成的磁盘 I/O 请求时的时间百分比。
% iowait 显示了 CPU 空闲期间系统有未完成的磁盘 I/O 请求时的时间百分比。
每过一定时间间隔,内核就更新这条信息(一般每秒六十次)。tty 报告提供了从系统中所有终端的收到的每秒字符总数,以及和每秒输出到系统所有终端的字符的总数。
  用来计算 CPU 磁盘 I/O 等待时间的方法操作系统 V4.3.3 和后来的版本包含用来估算 CPU 在磁盘 I/O(wio 时间)等待上的所花时间的百分比的增强方法。用在 AIX 4.3.2 和操作系统的早期版本上的方法在一定条件下,能够给出 SMP 上的 wio 时间的一个放大的视图。wio 时间是根据命令 sar(%wio)、 vmstat(wa)和 iostat(% iowait)报告出来的。
  在 AIX 4.3.2 中和早期版本中使用的方法如下:在每个处理器(每处理器一秒一百次)的每个时钟中断上,将确定四个类别(usr/sys/wio/idle)中的哪一个放 置在最后的 10ms 内。如果在时钟中断的时刻 CPU 以 usr 模式中处于忙状态,那么 usr 获得这个时间计点并归于此类。如果在时钟中断时刻 CPU 以内核模式中处于忙状态,那么 sys 类别将获得该计时点。如果 CPU 不处于忙状态,将检查是否在进行任何磁盘 I/O。如果在进行任何磁盘 I/O,则 wio 类别将增加。如果磁盘在进行 I/O 操作并且 CPU 不忙,那么 idle 类别将获取计时点。wio 时间的放大视图是由于所有空闲 CPU 被归为 wio 而不管在 I/O 上等待的线程数所导致。例如,仅有一个线程执行 I/O 的系统可以报告超过 90% 的 wio 时间而不管其 CPU 数。
  在 AIX 4.3.3 中和后继版本中使用的方法如下:如果在那个 CPU 上启动一个未完成的的 I/O,那么操作系统 V4.3.3 中的更改仅把一个空闲 CPU 标为 wio。当只有少数线程正在执行 I/O 否则系统就空闲的情况下,这种方法可以报告更少的 wio 时间。例如,一个有四个 CPU 且只有一个线程执行 I/O 的系统将报告一个最大值是 25% 的 wio 时间。一个有 12 个 CPU 且仅有一个线程执行 I/O 的系统将报告一个最大值为 8% 的 wio 时间。 NFS 客户机通过 VMM 读/写,并且为了完成一个 I/O 而在 vmm 等待中用的时间现在将被报告为 I/O 等待时间。
  磁盘使用率报告由 iostat 命令生成的第二个报告是磁盘使用率报告。磁盘报告提供了在每个物理磁盘基础上的统计信息。这个报告有以下类似的格式:
  
% tm_act 表示物理磁盘处于活动状态的时间百分比(驱动器的带宽使用率)。
Kbps 表示以 KB 每秒为单位的传输(读或写)到驱动器的数据量。
tps 表示每秒钟输出到物理磁盘的传输次数。一次传输就是一个对物理磁盘的 I/O 请求。多个逻辑请求可被并为对磁盘的一个单一 I/O 请求。传输具有中等的大小。
Kb_read 读取的 KB 总数。
Kb_wrtn 写入的 KB 总数。
CD-ROM 设备的统计信息也要报告。
  对于配置有大量磁盘的大型系统配置,当 iostat 没有执行时,系统可以设置为避免收集物理硬盘的输入/输出数据。如果系统用上述的方式配置,那么第一个磁盘报告将显示消息引导不可用后的磁盘历史记录而不是磁盘统计信息。由 iostat 命令生成的后继时间间隔报告包含在报告时间间隔期间收集的磁盘统计信息。引导后的任何 tty 和 CPU 都不会影响。如果一个系统管理命令用来重新保留磁盘统计信息,那么第一个 iostat 命令报告会显示从启用磁盘输入/输出统计信息那一刻时间间隔起点起的行为。
  系统吞吐量报告如果指定 -s 标志将生成这个报告。这份报告提供了整个系统的统计信息。这份报告有以下格式:
  
Kbps 表示了每秒以 KB 为单位的传输(读或写)到整个系统的数据量。
tps 表示每秒传输到整个系统的传输次数。
Kb_read 从整个系统中读取的 KB 总数。
Kb_wrtn 写到整个系统的 KB 总数。
适配器吞吐量报告如果指定 -a 标志将产生该报告。这份报告提供了适配器上的统计信息。
  
Kbps 表示每秒钟以 KB 为单位的传输到(读或写)到适配器的数据量。
tps 表示每秒钟输出到适配器的传输次数。
Kb_read 从适配器读取的 KB 总数。
Kb_wrtn 写到适配器的 KB 总数。
磁盘输入/输出历史记录要提高性能,已经禁用了磁盘输入/输出统计信息集合。要启用该数据的集合,请输入:
  chdev -l sys0 -a iostat=true要显示当前设置,请输入:
  lsattr -E -l sys0 -a iostat如果禁用了磁盘输入/输出历史记录的集合,那么 iostat 输出的第一个磁盘报告将显示消息引导不可用后的磁盘历史记录而不是磁盘统计信息。如前,由 iostat 命令生成后继时间间隔报告包含了在报告时间间隔期间收集的磁盘统计信息。

标志

  
-a 显示适配器吞吐量报告。
-d -d 标志不能和 -t 标志合用,且仅显示磁盘使用率报告。
-s 显示系统吞吐量报告。
-m -m 标志将为以下打印路径统计信息 到启用 MPIO(Multi-Path I/O)设备的路径。 ESS 机器中的路径。 吞吐量是每个设备的。设备所有路径的吞吐量符合该设备的吞吐量。 对于 ESS 机器,vpaths 将被当作磁盘,而 hdisks 将被看作路径。在内部 vpaths 是磁盘,hdisks 是它们的路径。对于启用 MPIO 的设备,路径名将表示为 Path0、Path1、Path2 等等。数字0、1、2 等都是 lspath 命令提供的路径标识。由于一个设备的路径可以附加到任何适配器上,所以适配器报告将报告每个适配器下的路径信息。磁盘名称是所有路径的前缀。对于所有启用 MPIO 的设备,适配器报告将打印路径名为 hdisk10_Path0 、hdisk0_Path1等等。对于所有 ESS 机器,适配器报告将打印路径名为 vpath0_hdisk3 、vpath10_hdisk25等等。
-t -t 标志排除了 -d 标志且仅显示了 tty 和 cpu 用法报告。
-T 打印 iostat输出的每一行边上的时间戳记。时间戳记以 HH:MM:SS 格式显示。
注:
  -s 和 -a 标记都能指定来显示系统和适配器吞吐量报告。 如果同时指定 -a 标志和 -t 标志,将显示 tty 和 CPU 报告,随后是适配器吞吐量报告。连接在适配器上的磁盘的使用率报告将不会显示在适配器吞吐量报告后面。 如果同时指定 -a 标志和 -d 标志,将不会显示 tty 和 CPU 报告。如果指定物理卷参数,那么指定卷的磁盘使用率报告将在它所属于的相应适配器下打印出来。

示例

  要为所有 tty、CPU 和磁盘显示引导后的单一历史记录报告,请输入: iostat 要为逻辑名是 disk1 的磁盘显示一个以两秒为时间间隔的持续磁盘报告,请输入: iostat -d disk1 2 要为逻辑名是 disk1 的磁盘显示以两秒为时间间隔的六个报告,请输入: iostat disk1 2 6 要为所有磁盘显示以两秒为时间间隔的六个报告,请输入: iostat -d 2 6 要为三个名称分别为 disk1、disk2、disk3 的磁盘显示以两秒为时间间隔的六个报告,请输入: iostat disk1 disk2 disk3 2 6 要打印系统吞吐量报告,请输入:
  iostat -s 要打印适配器吞吐量报告,请输入: iostat -a 要打印系统和适配器吞吐量报告,且仅有 tty 和 CPU 报告(没有磁盘报告),请输入:

  iostat -sat 要打印带有 hdisk0 和 hdisk7 的磁盘使用率报告的系统和适配器吞吐量报告,请输入: iostat -sad hdisk0 hdisk7 要显示 iostat 输出的每行的下一行的时间戳记,请输入: iostat -T

iostat 输出解析

   iostat 输出解析
    ===============


1. /proc/partitions

对于kernel 2.4, iostat 的数据的主要来源是 /proc/partitions,而对于kernel 2.6, 数据主要来自/proc/diskstats或者/sys/block/[block-device-name]/stat。

先看看 /proc/partitions 中有些什么。

# cat /proc/partitions
major minor  #blocks  name     rio rmerge rsect ruse wio wmerge wsect wuse running use aveq

   3     0   1Array535040 hda 12524 31127 344371 344360 12Array41 25534 308434 10Array72Array0 -1 15800720 28214662
   3     1    7172ArrayArray1 hda1 13 71 168 140 0 0 0 0 0 140 140
   3     2          1 hda2 0 0 0 0 0 0 0 0 0 0 0
   3     5    5116671 hda5 100 477 665 620 1 1 2 30 0 610 650
   3     6     265041 hda6 518 Array2 4616 2770 257 3375 2Array056 143880 0 46520 146650
   3     7    6Array80211 hda7 1188Array 30475 3388Array0 340740 12683 22158 27Array376 Array53380 0 50Array350 12Array4120

major: 主设备号。3 代表 hda。
minor:    次设备号。7 代表 No.7 分区。
#blocks: 设备总块数 (1024 bytes/block)。1Array535040*1024 => 20003880Array60(bytes) ~2G
name:    设备名称。如 hda7。

rio:    完成的读 I/O 设备总次数。指真正向 I/O 设备发起并完成的读操作数目,
    也就是那些放到 I/O 队列中的读请求。注意很多进程发起的读操作
    (read())很可能会和其他的操作进行 merge,不一定每个 read() 调用
    都引起一个 I/O 请求。
rmerge: 进行了 merge 的读操作数目。
rsect:  读扇区总数 (512 bytes/sector)

ruse:   从进入读队列到读操作完成的时间累积 (毫秒)。上面的例子显示从开机
        开始,读 hda7 操作共用了约340秒。

wio:    完成的写 I/O 设备总次数。
wmerge:    进行了 merge 的写操作数目。
wsect:    写扇区总数
wuse:    从进入写队列到写操作完成的时间累积 (毫秒)

running: 已进入 I/O 请求队列,等待进行设备操作的请求总数。上面的例子显
     示 hda7 上的请求队列长度为 0。

use:    扣除重叠等待时间的净等待时间 (毫秒)。一般比 (ruse+wuse) 要小。比
    如 5 个读请求同时等待了 1 毫秒,那么 ruse值为5ms, 而 use值为
    1ms。use 也可以理解为I/O队列处于不为空状态的总时间。hda7 的I/O
    队列非空时间为 50Array 秒,约合8分半钟。
    
aveq:    在队列中总的等待时间累积 (毫秒) (约等于ruse+wuse)


2. iostat 结果解析

# iostat  -x
Linux 2.4.21-Array.30AX (localhost)         2004年07月14日

avg-cpu:  %user   %nice    %sys   %idle
           3.85    0.00    0.Array5   Array5.20

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
/dev/hda     1.70   1.70  0.82  0.82   1Array.88   20.22     Array.Array4    10.11    24.50    11.83   57.81 610.76  ArrayArray.Array6
/dev/hda1    0.00   0.00  0.00  0.00    0.01    0.00     0.00     0.00    12.Array2     0.00   10.77  10.77   0.00
/dev/hda5    0.02   0.00  0.00  0.00    0.03    0.00     0.02     0.00     6.60     0.00    6.44   6.04   0.00
/dev/hda6    0.01   0.38  0.05  0.03    0.43    3.25     0.21     1.62    46.Array0     0.15  1Array3.Array6  52.25   0.41
/dev/hda7    1.66   1.33  0.76  0.7Array   1Array.41   16.Array7     Array.70     8.4Array    23.44     0.7Array   51.13  1Array.7Array   3.07

rrqm/s:    每秒进行 merge 的读操作数目。即 delta(rmerge)/s
wrqm/s: 每秒进行 merge 的写操作数目。即 delta(wmerge)/s
r/s:    每秒完成的读 I/O 设备次数。即 delta(rio)/s
w/s:    每秒完成的写 I/O 设备次数。即 delta(wio)/s
rsec/s:    每秒读扇区数。即 delta(rsect)/s
wsec/s:    每秒写扇区数。即 delta(wsect)/s
rkB/s:    每秒读K字节数。是 rsect/s 的一半,因为每扇区大小为512字节。
wkB/s:    每秒写K字节数。是 wsect/s 的一半。
avgrq-sz: 平均每次设备I/O操作的数据大小 (扇区)。即 delta(rsect+wsect)/delta(rio+wio)
avgqu-sz: 平均I/O队列长度。即 delta(aveq)/s/1000 (因为aveq的单位为毫秒)。
await:    平均每次设备I/O操作的等待时间 (毫秒)。即 delta(ruse+wuse)/delta(rio+wio)
svctm:    平均每次设备I/O操作的服务时间 (毫秒)。即 delta(use)/delta(rio+wio)
%util:    一秒中有百分之多少的时间用于 I/O 操作,或者说一秒中有多少时间 I/O 队列是非空的。
    即 delta(use)/s/1000 (因为use的单位为毫秒)

如果 %util 接近 100%,说明产生的I/O请求太多,I/O系统已经满负荷,该磁盘
可能存在瓶颈。

svctm 一般要小于 await (因为同时等待的请求的等待时间被重复计算了),
svctm 的大小一般和磁盘性能有关,CPU/内存的负荷也会对其有影响,请求过多
也会间接导致 svctm 的增加。await 的大小一般取决于服务时间(svctm) 以及
I/O 队列的长度和 I/O 请求的发出模式。如果 svctm 比较接近 await,说明
I/O 几乎没有等待时间;如果 await 远大于 svctm,说明 I/O 队列太长,应用
得到的响应时间变慢,如果响应时间超过了用户可以容许的范围,这时可以考虑
更换更快的磁盘,调整内核 elevator 算法,优化应用,或者升级 CPU。

队列长度(avgqu-sz)也可作为衡量系统 I/O 负荷的指标,但由于 avgqu-sz 是
按照单位时间的平均值,所以不能反映瞬间的 I/O 洪水。


3. I/O 系统 vs. 超市排队

举一个例子,我们在超市排队 checkout 时,怎么决定该去哪个交款台呢? 首当
是看排的队人数,5个人总比20人要快吧? 除了数人头,我们也常常看看前面人
购买的东西多少,如果前面有个采购了一星期食品的大妈,那么可以考虑换个队
排了。还有就是收银员的速度了,如果碰上了连钱都点不清楚的新手,那就有的
等了。另外,时机也很重要,可能 5 分钟前还人满为患的收款台,现在已是人
去楼空,这时候交款可是很爽啊,当然,前提是那过去的 5 分钟里所做的事情
比排队要有意义 (不过我还没发现什么事情比排队还无聊的)。

I/O 系统也和超市排队有很多类似之处:

    r/s+w/s 类似于交款人的总数
    平均队列长度(avgqu-sz)类似于单位时间里平均排队人的个数
    平均服务时间(svctm)类似于收银员的收款速度
    平均等待时间(await)类似于平均每人的等待时间
    平均I/O数据(avgrq-sz)类似于平均每人所买的东西多少
    I/O 操作率 (%util)类似于收款台前有人排队的时间比例。
   
我们可以根据这些数据分析出 I/O 请求的模式,以及 I/O 的速度和响应时间。


4. 一个例子

# iostat -x 1
avg-cpu:  %user   %nice    %sys   %idle
          16.24    0.00    4.31   7Array.44
Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
/dev/cciss/c0d0
             0.00  44.Array0  1.02 27.55    8.16  57Array.5Array     4.08   28Array.80    20.57    22.35   78.21   5.00  14.2Array
/dev/cciss/c0d0p1
             0.00  44.Array0  1.02 27.55    8.16  57Array.5Array     4.08   28Array.80    20.57    22.35   78.21   5.00  14.2Array
/dev/cciss/c0d0p2
             0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

上面的 iostat 输出表明秒有 28.57 次设备 I/O 操作: delta(io)/s = r/s +
w/s = 1.02+27.55 = 28.57 (次/秒) 其中写操作占了主体 (w:r = 27:1)。

平均每次设备 I/O 操作只需要 5ms 就可以完成,但每个 I/O 请求却需要等上
78ms,为什么? 因为发出的 I/O 请求太多 (每秒钟约 2Array 个),假设这些请求是
同时发出的,那么平均等待时间可以这样计算:

    平均等待时间 = 单个 I/O 服务时间 * ( 1 + 2 + ... + 请求总数-1) / 请求总数

应用到上面的例子: 平均等待时间 = 5ms * (1+2+...+28)/2Array = 70ms,和
iostat 给出的 78ms 的平均等待时间很接近。这反过来表明 I/O 是同时发起的。

每秒发出的 I/O 请求很多 (约 2Array 个),平均队列却不长 (只有 2 个 左右),
这表明这 2Array 个请求的到来并不均匀,大部分时间 I/O 是空闲的。

一秒中有 14.2Array% 的时间 I/O 队列中是有请求的,也就是说,85.71% 的时间里
I/O 系统无事可做,所有 2Array 个 I/O 请求都在142毫秒之内处理掉了。

delta(ruse+wuse)/delta(io) = await = 78.21 => delta(ruse+wuse)/s =
78.21 * delta(io)/s = 78.21*28.57 = 2232.8,表明每秒内的I/O请求总共需
要等待2232.8ms。所以平均队列长度应为 2232.8ms/1000ms = 2.23,而 iostat
给出的平均队列长度 (avgqu-sz) 却为 22.35,为什么?! 因为 iostat 中有
bug,avgqu-sz 值应为 2.23,而不是 22.35。


5. iostat 的 bug 修正

iostat.c 中是这样计算avgqu-sz的:

    ((double) current.aveq) / itv

aveq 的单位是毫秒,而 itv 是两次采样之间的间隔,单位是 jiffies。必须换
算成同样单位才能相除,所以正确的算法是:

    ((double) current.aveq) / itv * HZ / 1000

这样,上面 iostat 中输出的 avgqu-sz 值应为 2.23,而不是 22.3。

另外,util值的计算中做了 HZ 值的假设,不是很好,也需要修改。

--- sysstat-4.0.7/iostat.c.orig    2004-07-15 13:31:27.000000000 +0800
+++ sysstat-4.0.7/iostat.c    2004-07-15 13:37:34.000000000 +0800
@@ -370,7 +370,7 @@
    
            nr_ios = current.rd_ios + current.wr_ios;
            tput   = nr_ios * HZ / itv;
-           util   = ((double) current.ticks) / itv;
+           util   = ((double) current.ticks) / itv * HZ / 1000;
         /* current.ticks (ms), itv (jiffies) */
            svctm  = tput ? util / tput : 0.0;
            /* kernel gives ticks already in milliseconds for all platforms -> no need for further scaling */
@@ -387,12 +387,12 @@
               ((double) current.rd_sectors) / itv * HZ, ((double) current.wr_sectors) / itv * HZ,
               ((double) current.rd_sectors) / itv * HZ / 2, ((double) current.wr_sectors) / itv * HZ / 2,
               arqsz,
-              ((double) current.aveq) / itv,
+        ((double) current.aveq) / itv * HZ / 1000, /* aveq is in ms */
         await,
         /* again: ticks in milliseconds */
-        svctm * 100.0,
+        svctm,
         /* NB: the ticks output in current sard patches is biased to output 1000 ticks per second */
-        util * 10.0);
+        util * 100.0);
      }
   }
       }

一会儿 jiffies, 一会儿 ms,看来 iostat 的作者也被搞晕菜了。

这个问题在 systat 4.1.6 中得到了修正:

        * The average I/O requests queue length as displayed by iostat -x was
          wrongly calculated. This is now fixed.

但 Redhat 的 sysstat 版本有些太过时了 (4.0.7)。 

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/25736250/viewspace-703636/,如需转载,请注明出处,否则将追究法律责任。

上一篇: oracle tuning
下一篇: 调优之VMSTAT
请登录后发表评论 登录
全部评论

注册时间:2011-04-24

  • 博文量
    34
  • 访问量
    54404