ITPub博客

首页 > Linux操作系统 > Linux操作系统 > Shell 解决Redis Slow Log去重问题

Shell 解决Redis Slow Log去重问题

原创 Linux操作系统 作者:壹頁書 时间:2018-11-02 12:04:56 0 删除 编辑

老东家监测Redis的慢查询日志,采用Crontab 每隔一段时间对慢查询日志采样,然后追加写入一个文本文件。


所以文本文件中有很多重复的慢查询日志



如何对整段重复的慢查询日志去重呢?


采用Shell 命令的方式最简单和直接。


 awk '/^1\)/{print s;s=""};{ s=(s" "$0)}; END{print s } ' b.txt  | sort | uniq | sed 's/        /\n        /g'  | awk '/^ 1\) \(integer\)/{rc =rc+1;rowdata=rc") \t" $1" "$2" "$3"\n\t"$4" "$5" "$6" "$7"\n\t"$8" "$9" "$10;print rowdata};/^  /{print "\t"$0} END{print "不重复日志总数:" rc}'


核心就是把整段的redis日志先合并为一行,去重之后,在还原格式。


下面是用于测试的附件


redisSlowLog.txt



附王工对这个问题的需求描述和说明。


https://blog.csdn.net/wzy0623/article/details/83652539?tdsourcetag=s_pcqq_aiomsg



来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/29254281/viewspace-2218512/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2013-10-19

  • 博文量
    621
  • 访问量
    5948598