shell对输出流的处理

awk介绍

awk基本用法

awk高级用法

awk小技巧

在日常计算机管理中，总会有很多数据输出到屏幕或者文件，这些输出包含了标准输出、标准错误输出。默认情况下，这些信息全部输出到默认输出设备---屏幕。然而，大量的数据输出中，只有一小部分是我们需要重点关注的，我们需要把我们需要的或者关注的这些信息过滤或者提取以备后续需要时调用。早先的学习中，我们学过使用grep来过滤这些数据，使用cut、tr命令提出某些字段，但是他们都不具备提取并处理数据的能力，都必须先过滤，再提取转存到变量，然后在通过变量提取去处理，比如：

内存使用率的统计步骤

1) 通过free -m提取出内存总量，赋值给变量 memory_totle

2）通过free -m提取出n内存使用量，赋值给变量memory_use

3）通过数学运算计算内存使用率

需要执行多步才能得到内存使用率，那么有没有一个命令能够集过滤、提取、运算为一体呢？当然，就是今天我要给大家介绍的命令：awk

平行命令还有gawk、pgawk、dgawk

一、awk介绍

awk是一种可以处理数据、产生格式化报表的语言，功能十分强大。awk 认为文件中的每一行是一条记录 记录与记录的分隔符为换行符,每一列是一个字段 字段与字段的分隔符默认是一个或多个空格或tab制表符.

awk的工作方式是读取数据，将每一行数据视为一条记录（record）每条记录以字段分隔符分成若干字段，然后输出各个字段的值.

awk语法

awk [options] [BEGIN]{program} [END][file]

常用命令选项

-F fs 指定描绘一行中数据字段的文件分隔符 默认为空格

-f file 指定读取程序的文件名

-v var=value 定义awk程序中使用的变量和默认值

注意：awk 程序脚本由左大括号和右大括号定义。脚本命令必须放置在两个大括号之间。由于awk命令行假定脚本是单文本字符串，所以必须将脚本包

括在单引号内。

awk程序运行优先级是:

1)BEGIN: 在开始处理数据流之前执行，可选项

2)program: 如何处理数据流，必选项

3)END: 处理完数据流后执行，可选项

二、awk的基本用法---awk数据提取功能

学习用例

[root@www ~]# cat test

1 the quick brown fox jumps over the lazy cat . dog

2 the quick brown fox jumps over the lazy cat . dog

3 the quick brown fox jumps over the lazy cat . dog

4 the quick brown fox jumps over the lazy cat . dog

5 the quick brown fox jumps over the lazy cat . dog

2.1）awk对字段(列)的提取

字段提取:提取一个文本中的一列数据并打印输出

字段相关内置变量

$0 表示整行文本

$1 表示文本行中的第一个数据字段

$2 表示文本行中的第二个数据字段

$N 表示文本行中的第N个数据字段

$NF 表示文本行中的最后一个数据字段

读入test每行数据并把每行数据打印出来

[root@www ~]# awk '{print $0}' test

1 the quick brown fox jumps over the lazy cat . dog

2 the quick brown fox jumps over the lazy cat . dog

3 the quick brown fox jumps over the lazy cat . dog

4 the quick brown fox jumps over the lazy cat . dog

5 the quick brown fox jumps over the lazy cat . dog

打印test第六个字段

[root@www ~]# awk '{print $6}' test

jumps

jumps

jumps

jumps

jumps

打印test最后一个字段

[root@www ~]# awk '{print $NF}' test

dog

dog

dog

dog

dog

2.2）命令选项详解

-F: 指定字段与字段的分隔符

当输出的数据流字段格式不是awk默认的字段格式时，我们可以使用-F命令选项来重新定义数据流字段分隔符。比如:

处理的文件是/etc/passwd，希望打印第一列、第三列、最后一列

[root@www ~]# awk -F ':' '{print $1,$3,$NF}' /etc/passwd

root 0 /bin/bash

bin 1 /sbin/nologin

daemon 2 /sbin/nologin

adm 3 /sbin/nologin

lp 4 /sbin/nologin

sync 5 /bin/sync

shutdown 6 /sbin/shutdown

halt 7 /sbin/halt

mail 8 /sbin/nologin

operator 11 /sbin/nologin

games 12 /sbin/nologin

ftp 14 /sbin/nologin

nobody 99 /sbin/nologin

systemd-network 192 /sbin/nologin

dbus 81 /sbin/nologin

polkitd 999 /sbin/nologin

postfix 89 /sbin/nologin

chrony 998 /sbin/nologin

sshd 74 /sbin/nologin

ntp 38 /sbin/nologin

tcpdump 72 /sbin/nologin

nscd 28 /sbin/nologin

mysql 997 /sbin/nologin

www 996 /sbin/nologin

apache 48 /sbin/nologin

tss 59 /sbin/nologin

zabbix 995 /sbin/nologin

saslauth 994 /sbin/nologin

grafana 993 /sbin/nologin

可以看的出，awk输出字段默认的分隔符也是空格

-f file: 如果awk命令是日常重复工作，而又没有太多变化，可以将程序写入文件，每次使用-f调用程序文件就好，方便，高效。

[root@www ~]# cat abc

{print $1,$3,$NF}

[root@www ~]# awk -f abc test

1 quick dog

2 quick dog

3 quick dog

4 quick dog

5 quick dog

-v 定义变量，既然作者写awk的时候就是按着语言去写的，那么语言中最重要的要素---变量肯定不能缺席，所以可以使用-v命令选项定义变量

[root@www ~]# awk -v name='baism' 'BEGIN{print name}'

baism

定义了一个变量 name=baism，然后调用变量读出数据。