被抛弃的tcp_recycle
本文从一次巧合发现高版本Linux不再支持tcp_tw_recycle,深入研究了连接状态TIME_WAIT的原理,进而分析了tcp_tw族内核参数和如何应用它们对Linux的连接进行调优。
任播、自治系统与全球负载均衡
我在初中的时候遇到过一个问题:家里的联通宽带没有下发DNS地址,导致不能上网,年幼的我掏出了我的小米8(笑),帅气地打开搜索引擎,键入:DNS没了怎么办
模拟网络状态的利器TC
在日常生产环境中,如何判断网络运行状况是否正常是一个让大家比较耗神的一件事情,因为我们往往被某些不太友好的人以所谓的“网络问题”甩锅至此并开始了我们洗白的经历,今天给大家介绍一个分析网络状态的好帮手——TC。
Nginx请求处理流程你了解吗?
本文主要介绍了nginx的11个处理阶段和lua的8个处理阶段,并说明了nginx和lua运行阶段的对应关系。上篇文章回顾:Linux网络编程之IO模型
Linux网络编程之IO模型
同步是指一个任务的完成需要依赖另外一个任务时,只有等待被依赖的任务完成后,依赖的任务才能算完成,异步是指不需要等待被依赖的任务完成,只是通知被依赖的任务要完成什么工作,依赖的任务也立即执行
Nginx限流特技
限流(rate limiting)是Nginx众多特性中最有用的,也是经常容易被误解和错误配置的,特性之一。该特性可以限制某个用户在一个给定时间段内能够产生的HTTP请求数。请求可以简单到就是一个对于主页的GET请求或者一个登陆表格的POST请求。
小米开源监控Open-Falcon收录汽车之家贡献的Win版Agent
小米Open-Falcon监控系统自2015年开源以来,以其丰富的插件,灵活的架构,良好的性能表现,高效的告警策略等特性,赢得的众多互联网公司的青睐。
Elasitcsearch索引优化
Elasticsearch(下面简称ES)本身的搜索性能已经非常优秀,默认参数也适用于大部分场景;但为了更高效地利用计算资源,或者防止出现一个请求消耗掉集群所有的资源情况,我们会对一些参数进行调优和限制。
Mac OS下用Homebrew安装自己写的开源工具
Homebrew[1]是一款 Mac OS 平台下的软件包管理工具,拥有安装、卸载、更新、查看、搜索等很多实用的功能。简单的一条指令,就可以实现包管理,而不用你关心各种依赖和文件路径的情况,十分方便快捷。Homebrew 可以说已经成为使用 Mac 电脑程序员的标配。做为开源软件的贡献者,本文将向大家介绍一下如何能够让自己的开源项目通过 Homebrew 进行软件包管理。
SOAR的IDE插件——您的贴身DBA保镖
SOAR(SQL Optimizer And Rewriter)是小米近期开源的SQL智能优化改写工具,开源第一周就取得了2000+星的成绩。我们开发SOAR的目的并不仅仅希望对DBA能够提供帮助,也希望能够协助广大的SQL开发者更容易的写出高质量的SQL。SOAR借鉴了其他SQLint[1]的思路,也提供了三种编辑器插件,可以用来集成到Vim,Sublime Text,VS Code等代码编辑器中。
Kubernetes多租户隔离利器-Calico
本文介绍了一个数据中心网络方案Calico,包括其优势、架构、性能分析、工作原理,以及分析了生态云Kubernetes版应用引擎在Calico中的policy设置策略。
rsync udr——远程大文件传输加速
rsync是一款快速增量备份工具,类似Unix系统下的数据镜像备份工具——RemoteSync。rsync远程同步支持本地复制、与其他ssh、rsync主机同步。
从Minos部署系统谈谈XML-RPC
Minos是小米2013年开源的针对海量服务节点无法高效操作及统一配置管理的痛点,全新探索并研发的一套大型分布式部署及监控的系统。该系统基于supervisor XML-RPC实现分布式计算,支持跨地域、多节点部署服务。
基于线性回归的故障恢复时间预测
本文基于日常运维工作中遇到的问题,从人类直觉和数学工具几个方面提供了预测的方法。
SOAR 使用指南
本文简述了SOAR的下载安装和使用方法,并介绍了SOAR的基础设置和应用的四个场景。上篇文章回顾:基于线性回归的故障恢复时间预测
浅析NewSQL数据库——TiDB
本文从诞生背景、整体架构、能力特征及兼容监控等多个方面详细介绍了TiDB这个新一代的NewSQL数据库。上篇文章回顾:SOAR使用指南
HFR:在RBF上实现跨NameSpace Rename
随着HDFS数据量越来越大,NameNode内存已不足以装下全部元数据,这限制了HDFS的扩展。社区提出的RBF(Router Based Federation)比较高效地解决了这个问题。它将用户视角的目录拆分到多组互相独立的子集群(名字空间或者NameSpace)中,这一过程被称为挂载。Router层记录挂载表信息,并转发用户请求,使得RBF看起来和普通HDFS一样。
小米Kylin平滑迁移HBase实践
根据美团等其他公司在Kylin社区的公开分享资料,跨HBase集群升级方案需要在新集群重新构建历史的Cube,或者有一段时间的服务停止。
Talos网卡负载优化:基于个性化一致性哈希的负载均衡
其中在网卡资源优化方面,Talos主要做了两方面工作:客户端寻址与基于流量的个性化一致性哈希。前者是通过客户端自寻址避免Server转发节省网卡资源,后者是通过优化一致性哈希的虚拟节点数配置,调整节点的流量分配情况。
万亿级消息背后: 小米消息队列的实践
小米内部在 2015 年之前使用的是 Kafka 0.8 版本,当时的痛点比较多,由于 Kafka 本身是存储计算耦合的架构,使得数据不均衡的问题经常凸显,集群扩容、故障恢复也变得异常麻烦,给运维工作带来不少痛苦;同时,由于 Consumer 的 Rebalance 算法每次都是全部重新计算,