百亿数据查询秒级响应,观测体系之日志中心该如何玩转?
日志是处理生产故障、性能优化、业务分析的重要参考依据,是系统稳定运行不可或缺的一部分。随着业务系统规模急剧膨胀增大,尤其是是微服务架构逐渐普及,一个系统可能涉及多个应用模块与服务实例,传统模式下运维人员去定位问题显得异常困难,效率低下。当服务器资源增加时,各种类型的系统日志、业务日志、组件日志、容器日志等散落在不同设备上,故障排查异常艰难,因此构建高效且统一的日志中心能力尤为必要。本文主要研究基于
Redis缓存满了怎么办
Redis 缓存使用内存来保存数据,随着需要缓存的数据量越来越大,有限的缓存空间不可避免地会被写满。此时,应该怎么办?本篇文章接下来就来聊聊缓存满了之后的数据淘汰机制。值得注意的是,在 Redis 中 过期策略 和 内存淘汰策略 是两个完全不同的概念。Redis 过期策略指的是 Redis 使用哪种策略,来删除已经过期的键值对;而内存淘汰机制指的是当 Redis 运行内存已经超过设置的最
CPU 飙升?这3大场景助你精准定位
1 常用的 Load 分析方法CPU高、Load高通过 top 命令查找占用CPU最高的进程PID;通过top -Hp PID查找占用CPU最高的线程TID;对于java程序,使用jstack打印线程堆栈信息;通过printf %x tid打印出最消耗CPU线程的十六进制;CPU低、Load高产生的原因一句话总结就是:等待磁盘I/O完成的进程过多,导致进程队列长度过大,但是CP
仅用2个月,告警降低65%,这家公司做对了什么?
01用户故事刘总是浙江某公司信息部门负责人,在多年前就已经上线国内某知名网管运维软件产品。“那是一个失败的项目,我们的运维工程师每天都要遭受告警风暴的折磨,重要的告警被海量、无效告警淹没,你要知道公司处理每个告警都要付出很高时间成本的,不处理又会产生很大的风险成本”。刘总询问工程师,能否再找一个运维平台试试。但工程师告知他,其他产品也都差不多,要像银行、运营商那样做到及时处理所有告警,除了增加一线
Prometheus 指标实践总结,搞定监控
使用 Promethues 实现应用监控的一些实践在这篇文章中我们介绍了如何利用 Prometheus 监控应用。在后续的工作中随着监控的深入,我们结合自己的经验和官方文档总结了一些 Metrics 的实践。希望这些实践能给大家提供参考。确定监控对象在具体设计 Metrics 之前,首先需要明确需要测量的对象。需要测量的对象应该依据具体的问题背景、需求和需监控的系统本身来确定。从需求出发Googl
手写 K8S YAML 文件太难,三个小技巧助你游刃有余
开篇在如今快节奏的技术领域,容器编排平台 Kubernetes(简称K8s)以其强大的功能和灵活性,成为了现代应用开发和部署的重要工具。然而,对于刚刚接触K8s的新手而言,手动编写 K8s 的 YAML 配置文件可能会是一件令人望而却步的挑战。毕竟,这些配置文件包含了许多复杂的对象和属性,光是理解 Pod 对象的各个字段、它们的含义以及可接受的值就可能让人头疼不已。如果你也曾为此烦恼,不妨阅读本篇
流量突发、服务过载,分布式服务如何限流阈值?
一面临的问题在庞大的云计算+分布式+服务化的系统中,包含着由数万服务节点组成了大型网状结构,调用链路复杂,同一个节点上的服务存在资源竞争关系,而上下游节点间又存在压力传导关系,因此每个服务节点及其上的每个服务均需要实施流量防护。目前限流、熔断等流量防护技术均比较成熟,但实际应用过程中相关参数设置过于宽松,在外部流量突增时无法发挥理想的防护作用,仍然时常出现服务节点资源争抢、交易超时等问题。因此,如
服务器被入侵怎么办?排查过程全分享
本文中给文件和目录加锁是指给文件和目录增加了一些属性,只读等。chattr +ia一、服务器入侵现象近期有一个朋友的服务器(自己做了网站)好像遭遇了入侵,具体现象是:服务器 CPU 资源长期 100%,负载较高。服务器上面的服务不能正常提供服务。朋友处理了一会没有解决,我开始想说我不是搞安全的,我怎么会,但朋友开出了天价,一顿海底捞,我在生活和现实面前低头了,开始上手看看了。二、服务器排查和处理2
大数据平台中元数据库—MySQL的异常故障解决
本文的主要目标是解决大数据平台中元数据库MySQL的异常故障。通过分析应用响应缓慢的问题,找到了集群组件HIVE和元数据库MySQL的原因。通过日志分析、工具检测和专家指导等一系列方法, 最终确定问题的根源是大数据集群中租户的不规范使用所导致,并逐步解决了这个问题。本文将详细描述故障的定位和解决思路,希望通过案例分析能为遇到类似问题的同行提供参考。本文来自twt社区专业委员会的课题研究,如侵删一、
如何用 Kubernetes 自定义资源?一文聊聊 CRD
什么是CRDCRD的全称为 CustomResourceDefinitions,即自定义资源。k8s拥有一些内置的资源,比如说Pod,Deployment,ReplicaSet等等,而CRD则提供了一种方式,使用户可以自定义新的资源,以扩展k8s的功能。使用CRD可以在不修改k8s源代码的基础上方便的扩展k8s的功能,比如腾讯云TKE使用CRD:logcollectors.ccs.clo
MySQL 中读写分离可能遇到的问题
前言MySQL 中读写分离是经常用到了的架构了,通过读写分离实现横向扩展的能力,写入和更新操作在源服务器上进行,从服务器中进行数据的读取操作,通过增大从服务器的个数,能够极大的增强数据库的读取能力。MySQL 中的高可用架构越已经呈现出越来越复杂的趋势,但是都是才能够最基本的一主一从演化而来的,所以这里来弄明白主从的基本原理。首先来弄明白主从和主备,以及双主模式之间的区别。双主有两个主库,每个主库
续签四年的榜一大哥,打动他的竟是
今天要聊的是一位来自有福之州的医疗客户,从产品落地至今一直使用,连续四年不断续约,名副其实的榜一大哥。最初打动用户的,来自技术团队的服务能力,以及客户对新生产品期待和支持,而五年来不离不弃,出于习惯?还是依赖?为更好地服务客户,我们通过数据和实践案例分析,阐述LinkSLA对用户产生的实际价值。01基础数据过去一年数据显示,累计接入资产306,产生工单498个,事件1748起,工单响应超时0,处理
新手也能看懂:如何理解 K8s 声明式 API ?
我们知道 Kubernetes(以下简称“K8s”)中各种资源对象的数据是通过 K8s 的 API 进行提交并持久化到存储 etcd 中的(称为K8s对象),K8s 对象是使用 K8s 的接口,kubelet 客户端通过操作这些对象来使用K8s能力。其中 kubectl 是我们使用最多的命令行工具。K8s官方对 kubectl 管理 K8s 对象的技术做了如下表的总结:假如我们现在要在名为 tes
快速掌握Dockerfile编写技巧
Dockerfile 的语法非常简单,然而如何加快镜像构建速度,如何减少 Docker 镜像的大小却不是那么直观,需要积累实践经验。这篇文章可以帮助你快速掌握编写Dockerfile 的技巧。目标更快的构建速度更小的Docker镜像大小更少的Docker镜像层充分利用镜像缓存增加Dockerfile可读性让Docker容器使用起来更简单总结编写.dockerignore文件容器只运行单个应用将多个
用 Prometheus 打造云原生监控,真的好用?
数字化转型背景下,随着轻量化的容器化技术和微服务应用的深度融合,业务复杂度随之上升。基于Prometheus的容器云监控体系成为目前主流容器监控事实标准,本文主要介绍Prometheus云原生监控体系,涵盖指标采集、数据存储、可视化展示,告警入库等功能,结合生产实践供大家参考。一、监控对象Prometheus监控范围覆盖IT基础设施层通用的服务器、中间件、数据库、容器/集群、服务可用性的指标,根据
K3s vs K8s:轻量级和全功能的对决
Kubernetes,通常缩写为 K8s,是领先的容器编排工具。该开源项目最初由 Google 开发,帮助塑造了现代编排的定义。该系统包括了部署和运行容器化系统所需的一切。社区供应商基于 Kubernetes 创建了适用于不同用例的独立发行版。K3s[1] 是由 Rancher 创建的一种 kubernetes 流行发行版,现在作为云原生计算基金会[2](CNCF)的一部分进行维护。K3
案例分享|从发现到处理,15分钟故障解决
用户的应用软件比较多,软件工程师数量比较少,日常问题都处理不过来,未能及时发现PACS+数据库离线问题。接入LinkSLA智能运维管家平台后,平台MOC工程师在数据库卡死的第一时间联系用户工程师,卫宁PACS+数据库异常,并协助现场工程师进一步检查SQL server数据库。最终锁定是数据库占用CPU资源未释放,将数据库使用资源情况做限定。问题得到解决。
企业级IT应用运维监控层次架构设计
企业基本都有自己的IT系统,而每个IT系统都有自己的监控系统。企业级的IT应用监控架构是一种综合性的解决方案,涉及到很多层级和相应的工具。随着企业IT系统的规模和复杂程度的不断增加,监控和管理系统也面临着越来越大的挑战。大家有时在建立监控时,不知道从何处入手;有时建立监控系统后,发现很多的盲点无法监控到。本文将分享IT应用运维监控的基本原理、通用监控体系和应用场景、监控平台设计、智能监控的实现方法
如何搞定轻量级日志系统Loki
为什么使用 LokiLoki 是一个轻量级的日志收集、分析的应用,采用的是 promtail 的方式来获取日志内容并送到 loki 里面进行存储,最终在 grafana 的 datasource 里面添加数据源进行日志的展示、查询。loki 的持久化存储支持 azure、gcs、s3、swift、local 这 5 中类型,其中常用的是 s3、local。另外,它还支持很多种日志搜集类型,像最常用
这 5 个冷门且实用的 Kubectl 使用技巧,99%的人都要知道
kubectl 是 K8s 官方附带的命令行工具,可以方便的操作 K8s 集群。这篇文章主要介绍一些 kubectl 的别样用法,希望读者有一定基础的 K8s 使用经验。有一篇文章也介绍了一些技巧,写博客的时候正好搜到了,正好也分享出来吧。Ready-to-use commands and tips for kubectl1、打印当前使用的API# kubectl 的主要作用就