ES 不香吗,为啥被大厂摒弃而迁移到ClickHouse?
前言Elasticsearch 是一个实时的分布式搜索分析引擎,它的底层是构建在 Lucene 之上的。简单来说是通过扩展 Lucene 的搜索能力,使其具有分布式的功能。ES通常会和其它两个开源组件 logstash(日志采集)和Kibana(仪表盘)一起提供端到端的日志/搜索分析的功能,常常被简称为ELK。Clickhouse是俄罗斯搜索巨头Yandex开发的面向列式存储的关系型数据库。Cli
案例分享|CPU异常监控
CPU使用率监控很关键,综合反应系统的负载情况,是监控的重要指标之一。CPU的使用率,对业务系统性能有重要的影响,根据CPU使用率监控,可以对系统或应用进一步分析调优。4月25日22点,平台收到某县级医院HIS数据库服务器CPU使用率超出阈值报警,CPU使用率99%,远远高出预设的阈值 告警信息4月25日HIS数据库 CPU使用率超出阈值。事件持续1小时30分钟。处理过程 MO
Redis 开发规范
本文介绍了在使用阿里云Redis的开发规范,从键值设计、命令使用、客户端使用、相关工具等方面进行说明,通过本文的介绍可以减少使用Redis过程带来的问题。键值设计key名设计可读性和可管理性以业务名(或数据库名)为前缀(防止key冲突),用冒号分隔,比如业务名:表名:idugc:video:1简洁性保证语义的前提下,控制key的长度,当key较多时,内存占用也不容忽视,例如:user:{uid}:
5 个冷门且实用的 Kubectl 使用技巧
kubectl 是 K8s 官方附带的命令行工具,可以方便的操作 K8s 集群。这篇文章主要介绍一些 kubectl 的别样用法,希望读者有一定基础的 K8s 使用经验。有一篇文章也介绍了一些技巧,写博客的时候正好搜到了,正好也分享出来吧。Ready-to-use commands and tips for kubectl1、打印当前使用的API# kubectl 的主要作用就
使用注解实现redis分布式锁
一、业务背景有些业务请求,属于耗时操作,需要加锁,防止后续的并发操作,同时对数据库的数据进行操作,需要避免对之前的业务造成影响。二、分析流程使用 Redis 作为分布式锁,将锁的状态放到 Redis 统一维护,解决集群中单机 JVM 信息不互通的问题,规定操作顺序,保护用户的数据正确。梳理设计流程1、新建注解 @interface,在注解里设定入参标志2、增加 AOP 切点,扫描特定注解3、建立
五种在 Vue 3 中定义组件的方法
Vue 正在不断发展,目前,在Vue 3 中有多种定义组件的方法。从选项到组合再到类 API,情况大不相同,如果您刚刚开始,可能会感到困惑。让我们定义一个简单的组件并使用所有可用的方法重构它。1. Options API这是在 Vue 中声明组件的最常见方式。从版本 1 开始可用,您很可能已经熟悉它。一切都在对象内声明,数据在幕后由 Vue 响应。它不是那么灵活,因为它使用
一次 Nacos 导致的 CPU 飙高问题完整复盘
今天下午突然 出现 测试环境 cpu飙高,干到了 60%,其他项目 响应时间明显变长。。。有点吓人,不想背锅项目背景出问题的项目是 需要连接各个不同nacos 和不同的 namespace 进行对应操作的 一个项目,对nacos的操作都是httpClient 调用的api接口,httpClient方法 没有问题,不用质疑这个定位问题首先 这 cpu高了,直接top -Hp 看看定位到 进程id,然
无感平滑迁移:海量高并发数据库如何进行国产化改造?
首先,讲一下数据库国产化的大背景。一、数据库国产化的背景国家战略方面的,随着外部形势的日益复杂,核心技术急需实现自主可控、安全可靠、高效开放;另一个要求是业务方面的,当业务高速发展后各种问题会接踵而至,单机数据库达到瓶颈,业务拆分、垂直拆分、水平拆分等,都需要花费大量的研发时间。二、主流的数据库架构首先和大家分享一下目前主流的数据库架构。目前业内主流的数据库架构大体分为三类:Shared-Ever
超详细的 Jenkins 多分支Pipeline自动发布项目
如果您正在寻找一个自动化的基于"Pull Request"或基于分支的Jenkins CI / CD管道,则本指南将帮助您全面了解如何使用Jenkins多分支管道来实现它。Jenkins多分支管道是设计CI/CD工作流的方法之一,因为它完全是基于git的pipeline as code。在本指南中,我将讨论Jenkins多分支管道设置中涉及的所有关键概念让我们从多分支管道基础知
如何校验 K8S Yaml文件
Kubernetes已经占据如何管理集容器化应用程序的核心位置。因此,存在许多定义Kubernetes应用程序的约定文件格式,包括YAML、JSON、INI等。这使得我们需要考虑应用程序的策略是什么。此外,我们还必须考虑如何根据所选择的文件结构(特别是安全性)路径来验证应用程序配置。本文,我们将探讨使用YAML文件定义Kubernetes应用程序,以及可以采取的各种步骤来有效地验证这些配置定义。Y
破防了,这才是机房运维的高效方法
在云计算、5G等新业务野蛮生长的催化下,机房规模与容量也呈倍速扩张。机房安全是业务发展的底座。提升机房设备安全和管理效率,避免人为因素导致的事故发生,是机房运维的必要前提。安全生产重于泰山,除了日常的科学防护,中外运维也曾一致的走近玄学。了解工作性质,似乎也不难理解这个现象。机房运维的那些事1机房值守--琐碎且重要机房值守是不可或缺的一环,保证网络实时连通、可用,保障接入交换机、汇聚交换机和核心交
40道 Redis 运维面试题
为了做好大家面试路上的助攻手,对于 Redis 这块心里还没底的同学,特整理 40 道Redis常见面试题,让你面试不慌,争取 Offer 拿到手软!1、什么是 Redis?Redis 是完全开源免费的,遵守 BSD 协议,是一个高性能的 key-value 数据库。Redis 与其他 key - value 缓存产品相比有以下三个特点:Redis 支持数据的持久化,可以将内存中的数据保存在磁盘中
提高 MongoDB 运维效率的实用技巧
一、MongoDB 集群简介MongoDB是一个基于分布式文件存储的数据库,其目的在于为WEB应用提供可扩展的高性能数据存储解决方案。下面将以3台机器介绍最常见的集群方案。具体介绍,可以查看官网 https://docs.mongodb.com/v3.4/introduction/。1、集群组件的介绍mongos(路由处理):作为Client与MongoDB集群的请求入口,所有用户请求都会透过Mo
Kubernetes日志采集
相比传统的主机日志采集,在 Kubernetes 集群中,采集容器日志有一些差异,使用方式上也有所区别。因此我们罗列了一些常规的部署和使用方式以供参考。1.从主机到容器在传统的使用虚拟机/云主机/物理机的时代,业务进程部署在固定的节点上,业务日志直接输出到宿主机上,运维只需要手动或者使用自动化工具把日志采集 Agent 部署在节点上,加一下 Agent 的配置,就可以开始采集日志了。而在 Kube
运维监控指标汇总
总结归纳运维工作中的监控内容。监控目标明白监控的重要性以及使用监控要实现的业务目标通常包括以下三点:对目标系统进行实时监控监控可以实时反馈目标系统的当前状态 目标系统硬件、软件、业务是否正常、目前处于何种状态保证目标系统可靠性,业务可以持续稳定运行 有问题第一时间反馈出来,便于运维人员处理监控方法了解监控对象 例如:CPU如何工作?性能基准指标 例如: CPU使用率、负载、用户态、内核态、上下文切
使用 Python Pip 的 10 个技巧
众所周知,pip 可以安装、更新、卸载 Python 的第三方库,非常方便。你们中的许多人可能已经使用 pip 很长时间了,但不清楚它有哪些还不错的功能。希望我今天分享的技巧能让你从 Python pip 中受益。Python pip让我们从 Python 语言开始。Python 之所以受欢迎,不仅因为它易于学习,还因为它拥有成千上万的(宝)库。这些库相当于已经集成的工具,只要安装了就可以在 Py
5个Linux常用命令的现代化替代品,用着超赞!
在日常使用 Linux/Unix 系统时,我们会使用许多命令行工具来完成我们的工作,并理解和管理我们的系统,像 du 用于监视磁盘利用率,top 用于显示系统资源。其中一些工具已经存在很长时间了。例如,top 于 1984 年发布,而 du 的发布要追溯到 1971 年。多年来,这些工具已经被现代化并移植到不同的系统,但是,通常,它们仍然延续着它们最初的思想和体验。这些都是很好的工具,对于许多系统
金融系统IT运维监控的探索与实践
一、背景介绍金融行业作为国内信息化发展最早、最成熟的行业之一,在数字化应用不断深入的情况下,传统运维面对微服务、容器、虚拟化等显得愈加力不从心,金融行业要建立与全新架构能力相匹配的运维体系,提升业务运营感知能力、基础架构运维掌控能力和敏捷业务支撑能力,保障业务连续性和安全稳定运行。这种新的需求指向可观测性、数据分析处理和告警收敛准确度提升等方面。二、现状阐述1、在众多应用中逐渐失去平衡由传统集中式
如何解决 K8s 多租户集群的安全隔离难题?
解决多租户集群的安全隔离问题对于企业上云而言至关重要。本文讨论了 Kubernetes 多租户集群的概念和常见的应用模式、企业内共享集群的业务场景以及 Kubernetes 现有的安全管理功能。什么是多租户集群首先,我们讨论一下“租户”是什么。租户的概念不仅是集群用户,还包括构成计算、网络、存储和其他资源的工作负载集。在多租户集群中,对单个集群中不同租户进行隔离,这样恶意租户就无法攻击其他租户,共
Linux 网络延迟排查方法
在 Linux 服务器中,可以通过内核调优、DPDK 以及 XDP 等多种方式提高服务器的抗攻击能力,降低 DDoS 对正常服务的影响。在应用程序中,可以使用各级缓存、WAF、CDN 等来缓解 DDoS 对应用程序的影响。但是需要注意的是,如果 DDoS 流量已经到达 Linux 服务器,那么即使应用层做了各种优化,网络服务延迟一般也会比平时大很多。因此,在实际应用中,我们通常使用 Linux 服