首页 > 数据库 > 数据库开发技术 > 运维工程师必会系统排查工具之sysdig
开源工具,被称为“strace+tcpdump+lsof 加上 Lua 酱汁”。它不仅可以实时分析 Linux 系统的状态,还可以将该状态保存为文件以供离线检查。最令人印象深刻的特性之一是,你可以自定义 Sysdig 的行为,甚至通过内建或自定义的凿子(chisel)脚本来增强其功能。
Sysdig 是一个强大的开源工具,被称为“strace+tcpdump+lsof 加上 Lua 酱汁”。它不仅可以实时分析 Linux 系统的状态,还可以将该状态保存为文件以供离线检查。最令人印象深刻的特性之一是,你可以自定义 Sysdig 的行为,甚至通过内建或自定义的凿子(chisel)脚本来增强其功能。
这些可以根据你的需求以各种风格分析 Sysdig 捕获的事件流。
官方网站提供的自动化安装过程。在自动化过程中,安装脚本会自动检测操作系统并安装必需的依赖包。
以root身份运行以下命令来从官方apt/yum仓库安装sysdig:
[root@bot conf]# curl -s https://s3.amazonaws.com/download.draios.com/stable/install-sysdig | bash
* Detecting operating system
* Installing Sysdig public key
* Installing Sysdig repository
* Installing kernel headers
Delta RPMs disabled because /usr/bin/applydeltarpm not installed.
* Installing Sysdig
Creating symlink /var/lib/dkms/scap/6.0.1+driver/source -> /usr/src/scap-6.0.1+driver
Sign command: /lib/modules/3.10.0-1160.102.1.el7.x86_64/build/scripts/sign-file
Signing key: /var/lib/dkms/mok.key
Public certificate (MOK): /var/lib/dkms/mok.pub
Certificate or key are missing, generating self signed certificate for MOK...
Building module:
Cleaning build area...
make -j8 KERNELRELEASE=3.10.0-1160.102.1.el7.x86_64 -C /lib/modules/3.10.0-1160.102.1.el7.x86_64/build M=/var/lib/dkms/scap/6.0.1+driver/build...
Signing module /var/lib/dkms/scap/6.0.1+driver/build/scap.ko
Cleaning build area...
scap.ko.xz:
Running module version sanity check.
- Original module
- No original module exists within this kernel
- Installation
- Installing to /lib/modules/3.10.0-1160.102.1.el7.x86_64/extra/
Adding any weak-modules
depmod....
[root@bot conf]#
# sysdig

当我们运行 Sysdig 后,屏幕可能会迅速充斥着系统发生的各种事件,这会让进一步的操作变得不太方便。为了更好地处理这些信息,我们可以执行以下操作:
# sysdig -cl | less

可用的凿子列表。默认有以下类目可用,各个类目中分布有多个内建的凿子。•CPU Usage:CPU使用量•Errors:错误•I/O•Logs:日志•Misc:混杂•Net:网络•Performance:性能•Security:安全•System State:系统状态
如果你想查看特定凿子提供的信息以及详细的命令行用法,执行以下命令:
# sysdig -cl [凿子名称]
例如,我们可以检查“网络”类目下关于spy_port凿子的信息:
[root@bot conf]# sysdig -i spy_port
Category: Net
-------------
spy_port Show the data exchanged using the given IP port number
Shows the network payloads exchanged using a given IP port number. You can comb
ine this chisel with the -x, -X or -A sysdig command line switches to customize
the screen output
Args:
[int] host_port - The remote host IP port number
[string] disable_color - Set to 'disable_colors' if you want to
disable color output
[root@bot conf]#
凿子可以通过过滤器(可同时应用于实时数据和记录文件)组合,以获取更多有用的输出。
过滤器在 sysdig 中的使用可以通过类和字段的组合来实现。例如:
fd.cip: 客户端IP地址。
evt.dir: 事件方向,可以是‘>’用于进入事件,或‘<’用于退出事件。
接下来的教程将演示 sysdig 的几个使用案例。
假设你的服务器正在遇到性能问题,例如没有响应或存在显著的延迟。你可以使用"瓶颈"凿子来显示当前系统中最慢的10个系统调用。通过以下命令,你可以在活跃的服务器上进行实时检查:
sysdig -c bottlenecks

这个命令中的-c标志后跟着bottlenecks凿子的名称,告诉sysdig运行指定的凿子,以显示当前最慢的10个系统调用。
此外,如果你希望离线对服务器进行性能分析,可以将完整的sysdig记录保存到文件,然后使用以下方式对记录运行"瓶颈"凿子。
首先,保存sysdig记录(使用Ctrl+c停止收集):
# sysdig -w trace.scap
收集完记录后,你可以运行以下命令来检查捕获间隔中最慢的系统调用:
# sysdig -r trace.scap -c bottlenecks

时间戳 (时间戳): 事件发生的时间。
系统调用 (系统调用): 正在进行的系统调用,例如 futex、poll、epoll_wait 等。
进程 (进程): 发起系统调用的进程,显示了进程的 PID 和名称,例如 falcon-agent (7395)。
事件方向 (事件方向): 事件方向,> 表示进入事件,< 表示退出事件。
系统调用结果 (系统调用结果): 系统调用的结果或返回值,例如 res=0 表示成功,res=-110 表示错误码 ETIMEDOUT。
你需要关注栏#2,#3和#4,
如果作为系统管理员,你希望监控系统中用户的交互活动,包括用户在命令行输入的命令以及用户所在的目录,可以使用 spy_user 凿子。以下是如何通过 sysdig 收集记录并查看用户交互活动的步骤:
首先,使用以下命令收集 sysdig 记录,设置每个事件捕获的字节数为 4096,启用记录文件的压缩,并保存记录到指定文件中:
# sysdig -s 4096 -z -w /mnt/sysdig/$(hostname).scap.gz
在上述命令中:
-s 4096 指定每个事件捕获的字节数为 4096。
-z 与 -w 一起使用,启用记录文件的压缩。
-w 用于指定保存 sysdig 记录的文件路径。
按下 Ctrl+c 可以随时中断 sysdig 的执行。
当你收集到足够的数据后,可以通过以下命令查看每个用户的交互活动:
在我们收集到了合理数量的数据后,我们可以通过运行以下命令来查看每个用户的交互活动:
# sysdig -r /mnt/sysdig/debian.scap.gz -c spy_users

上面输出的第一栏表示与指定用户的活动相关进程的PID。
如果你想要定位一个指定的用户,以及只监控该用户的活动又怎么样呢?你可以通过用户名对spy_users凿子的结果进行过滤:
sysdig -r /mnt/sysdig/bot.scap.gz -c spy_users "user.name=root"

如果想要自定义 sysdig 记录的输出格式并指定特定字段(如用户名、进程名和文件或套接口名称),可以使用 -p 标识。以下是如何创建一个记录文件,其中只包含家目录中的写入事件,并以后可以使用 sysdig -r writetrace.scap.gz 检查该文件的步骤:
[root@bot sysdig]# sysdig -p "%user.name %proc.name %fd.name" "evt.type=write and fd.name contains /home/" -z -w writetrace.scap.gz
新开窗口
# useradd test

作为服务器排障的一部分,你可能想要监听网络通信,此工作通常由tcpdump做。对于sysdig,可以很容易进行通信嗅探,其风格更为对用户友好。
例如,你可以检查由特定IP地址,特定进程(如apache2)提供的数据(ASCII编码格式):
# sysdig -s 4096 -A -c echo_fds fd.cip=192.168.0.100 -r /mnt/sysdig/debian.scap.gz proc.name=apache2
如果你想要监控原生数据传输(二进制格式),请把“-A”替换为“-X”:
# sysdig -s 4096 -X -c echo_fds fd.cip=192.168.0.100 -r /mnt/sysdig/debian.scap.gz proc.name=apache2

添加博主
微信号|yfq940-
原文作者:步步运维步步坑;如有侵权,请联系管理员删除。