ITPub博客

首页 > 数据库 > 数据库开发技术 > 运维工程师必会系统排查工具之sysdig

运维工程师必会系统排查工具之sysdig

原创 数据库开发技术 作者:步步运维步步坑 时间:2023-12-22 10:00:00 0 删除 编辑

开源工具,被称为“strace+tcpdump+lsof 加上 Lua 酱汁”。它不仅可以实时分析 Linux 系统的状态,还可以将该状态保存为文件以供离线检查。最令人印象深刻的特性之一是,你可以自定义 Sysdig 的行为,甚至通过内建或自定义的凿子(chisel)脚本来增强其功能。

Sysdig 是一个强大的开源工具,被称为“strace+tcpdump+lsof 加上 Lua 酱汁”。它不仅可以实时分析 Linux 系统的状态,还可以将该状态保存为文件以供离线检查。最令人印象深刻的特性之一是,你可以自定义 Sysdig 的行为,甚至通过内建或自定义的凿子(chisel)脚本来增强其功能。

这些可以根据你的需求以各种风格分析 Sysdig 捕获的事件流。

安装Sysdig

官方网站提供的自动化安装过程。在自动化过程中,安装脚本会自动检测操作系统并安装必需的依赖包。

以root身份运行以下命令来从官方apt/yum仓库安装sysdig:

[root@bot conf]#  curl -s https://s3.amazonaws.com/download.draios.com/stable/install-sysdig |  bash
* Detecting operating system
* Installing Sysdig public key
* Installing Sysdig repository
* Installing kernel headers
Delta RPMs disabled because /usr/bin/applydeltarpm not installed.
* Installing Sysdig
Creating symlink /var/lib/dkms/scap/6.0.1+driver/source -> /usr/src/scap-6.0.1+driver
Sign command: /lib/modules/3.10.0-1160.102.1.el7.x86_64/build/scripts/sign-file
Signing key: /var/lib/dkms/mok.key
Public certificate (MOK): /var/lib/dkms/mok.pub
Certificate or key are missing, generating self signed certificate for MOK...

Building module:
Cleaning build area...
make -j8 KERNELRELEASE=3.10.0-1160.102.1.el7.x86_64 -C /lib/modules/3.10.0-1160.102.1.el7.x86_64/build M=/var/lib/dkms/scap/6.0.1+driver/build...
Signing module /var/lib/dkms/scap/6.0.1+driver/build/scap.ko
Cleaning build area...

scap.ko.xz:
Running module version sanity check.
- Original module
  - No original module exists within this kernel
- Installation
  - Installing to /lib/modules/3.10.0-1160.102.1.el7.x86_64/extra/
Adding any weak-modules
depmod....
[root@bot conf]#

使用方法

# sysdig

当我们运行 Sysdig 后,屏幕可能会迅速充斥着系统发生的各种事件,这会让进一步的操作变得不太方便。为了更好地处理这些信息,我们可以执行以下操作:

# sysdig -cl | less

可用的凿子列表。默认有以下类目可用,各个类目中分布有多个内建的凿子。•CPU Usage:CPU使用量•Errors:错误•I/O•Logs:日志•Misc:混杂•Net:网络•Performance:性能•Security:安全•System State:系统状态

如果你想查看特定凿子提供的信息以及详细的命令行用法,执行以下命令:

# sysdig -cl [凿子名称]

例如,我们可以检查“网络”类目下关于spy_port凿子的信息:

[root@bot conf]# sysdig -i spy_port

Category: Net
-------------
spy_port       Show the data exchanged using the given IP port number

Shows the network payloads exchanged using a given IP port number. You can comb
ine this chisel with the -x, -X or -A sysdig command line switches to customize
the screen output
Args:
[int] host_port - The remote host IP port number
[string] disable_color - Set to 'disable_colors' if you want to
                disable color output

[root@bot conf]#


凿子可以通过过滤器(可同时应用于实时数据和记录文件)组合,以获取更多有用的输出。

过滤器在 sysdig 中的使用可以通过类和字段的组合来实现。例如:

  • fd.cip: 客户端IP地址。

  • evt.dir: 事件方向,可以是‘>’用于进入事件,或‘<’用于退出事件。

接下来的教程将演示 sysdig 的几个使用案例。

Sysdig实例: 服务器性能排障

假设你的服务器正在遇到性能问题,例如没有响应或存在显著的延迟。你可以使用"瓶颈"凿子来显示当前系统中最慢的10个系统调用。通过以下命令,你可以在活跃的服务器上进行实时检查:

sysdig -c bottlenecks

这个命令中的-c标志后跟着bottlenecks凿子的名称,告诉sysdig运行指定的凿子,以显示当前最慢的10个系统调用。

此外,如果你希望离线对服务器进行性能分析,可以将完整的sysdig记录保存到文件,然后使用以下方式对记录运行"瓶颈"凿子。

首先,保存sysdig记录(使用Ctrl+c停止收集):

# sysdig -w trace.scap

收集完记录后,你可以运行以下命令来检查捕获间隔中最慢的系统调用:

# sysdig -r trace.scap -c bottlenecks

  1. 时间戳 (时间戳): 事件发生的时间。

  2. 系统调用 (系统调用): 正在进行的系统调用,例如 futex、poll、epoll_wait 等。

  3. 进程 (进程): 发起系统调用的进程,显示了进程的 PID 和名称,例如 falcon-agent (7395)。

  4. 事件方向 (事件方向): 事件方向,> 表示进入事件,< 表示退出事件。

  5. 系统调用结果 (系统调用结果): 系统调用的结果或返回值,例如 res=0 表示成功,res=-110 表示错误码 ETIMEDOUT。

你需要关注栏#2,#3和#4,

Sysdig实例: 监控交互用户活动

如果作为系统管理员,你希望监控系统中用户的交互活动,包括用户在命令行输入的命令以及用户所在的目录,可以使用 spy_user 凿子。以下是如何通过 sysdig 收集记录并查看用户交互活动的步骤:

首先,使用以下命令收集 sysdig 记录,设置每个事件捕获的字节数为 4096,启用记录文件的压缩,并保存记录到指定文件中:

# sysdig -s 4096 -z -w /mnt/sysdig/$(hostname).scap.gz

在上述命令中:

  • -s 4096 指定每个事件捕获的字节数为 4096。

  • -z 与 -w 一起使用,启用记录文件的压缩。

  • -w 用于指定保存 sysdig 记录的文件路径。

按下 Ctrl+c 可以随时中断 sysdig 的执行。

当你收集到足够的数据后,可以通过以下命令查看每个用户的交互活动:

在我们收集到了合理数量的数据后,我们可以通过运行以下命令来查看每个用户的交互活动:

 # sysdig -r /mnt/sysdig/debian.scap.gz -c spy_users

上面输出的第一栏表示与指定用户的活动相关进程的PID。

如果你想要定位一个指定的用户,以及只监控该用户的活动又怎么样呢?你可以通过用户名对spy_users凿子的结果进行过滤:

sysdig -r /mnt/sysdig/bot.scap.gz -c spy_users "user.name=root"

Sysdig实例: 监控文件I/O

如果想要自定义 sysdig 记录的输出格式并指定特定字段(如用户名、进程名和文件或套接口名称),可以使用 -p 标识。以下是如何创建一个记录文件,其中只包含家目录中的写入事件,并以后可以使用 sysdig -r writetrace.scap.gz 检查该文件的步骤:

[root@bot sysdig]# sysdig -p "%user.name %proc.name %fd.name" "evt.type=write and fd.name contains /home/" -z -w writetrace.scap.gz

新开窗口

# useradd test

Sysdig实例: 监控网络I/O

作为服务器排障的一部分,你可能想要监听网络通信,此工作通常由tcpdump做。对于sysdig,可以很容易进行通信嗅探,其风格更为对用户友好。

例如,你可以检查由特定IP地址,特定进程(如apache2)提供的数据(ASCII编码格式):

# sysdig -s 4096 -A -c echo_fds fd.cip=192.168.0.100 -r /mnt/sysdig/debian.scap.gz proc.name=apache2

如果你想要监控原生数据传输(二进制格式),请把“-A”替换为“-X”:

# sysdig -s 4096 -X -c echo_fds fd.cip=192.168.0.100 -r /mnt/sysdig/debian.scap.gz proc.name=apache2

添加博主

微信号|yfq940-

原文作者:步步运维步步坑;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2022-10-08

  • 博文量
    100
  • 访问量
    51720