-
编辑 删除
账号迁移
该账号内容已迁移至公众号“小米技术”， 获取最新小米技术相关内容及动态， 请在微信订阅号中搜索关注“小米技术”。 小米技术，定期推送有关小米云计算、大数据、人工智能等相关产品和技术文章，精品内容，等你来看！
-
编辑 删除
万亿级消息背后: 小米消息队列的实践
小米云平台部，主要分享云存储、云计算、系统、网络、运维、私有云、安全、数据库、内核等内容，欢迎感兴趣的朋友们加入！
-
编辑 删除
Flink流式计算在节省资源方面的简单分析
Flink在小米的发展简介小米在流式计算方面经历了Storm、Spark Streaming和Flink的发展历程；从2019年1月接触Flink到现在，已经过去了大半年的时间了。对Flink的接触越深，越能感受到它在流式计算方面的强大能力；无论是实时性、时间语义还是对状态计算的支持等，都让很多之前需要复杂业务逻辑实现的功能转变成了简洁的API调用。还有不断完善的Flink SQL功能也让人充满期
-
编辑 删除
消息队列价值思考
本文将带给你不一样的消息队列价值思考。往期文章回顾：一场HBase2.x的写入性能优化之旅目录日志与消息队列消息队列的应用价值数据集成与系统解耦异步处理与事件驱动流量削峰事务消息与分布式事务的最终一致从历史看消息队列的价值演化小米的消息队列产品Talos与EMQTalos/EMQ 与开源产品的区别Talos与EMQ的区别后续文章参考文献时常会思考消息队列的价值是什么？新人加入团队后该如何
-
编辑 删除
告别“纷纷扰扰”—小米OLAP服务架构演进
背景>>&
-
编辑 删除
HBaseCon Asia 2019 Track 1 概要回顾
HBaseCon 没来参加怎么办？三个Track没法同时听，分身乏术怎么办？没关系~！“小米云技术”将用三期时间带你回顾全部精华~！ 往期回顾：Track 2 干货回顾Track 1：HBase InternalTrack1是专注于 HBase 内核的一个分会场，更多是 HBase 开发者带来的分享。小米在Track
-
编辑 删除
HBaseCon Asia 2019 Track 2 概要回顾
HBaseCon 没来参加怎么办？三个Track没法同时听，分身乏术怎么办？没关系~！“小米云技术”将用三期时间带你回顾全部精华~！Track 2：Ecology and Solution在这个 Track,大家主要基于 HBase 根据实际需求构建系统。从横向来看，HBase 除了本身可用于 OLTP 之外，还能与 Spark、Solor 以及 Kafka 等系统集成起来提供 OLAP 的方案，
-
编辑 删除
Docker容器实现原理及容器隔离性踩坑介绍
正如Docker官方的口号：“Build once,Run anywhere,Configure once,Run anything”，Docker被贴上了如下标签：轻巧、秒级启动、版本管理、可移植性等等，这些优点让它出现之初就收到极大的关注。现在，Docker已经不仅仅是开发测试阶段使用的工具，大家已经在生产环境中大量使用。今天我们给大家介绍关于容器隔离性的一个“坑”。在此之前，我们先来回顾一下
-
编辑 删除
HDFS Router-based Federation
Hadoop 社区为了解决 HDFS 横向扩展的问题，早前的版本中实现了基于 ViewFs 的 Federation 架构，而在最新的 Hadoop 版本中，社区又实现了基于 Router 的 Federatio n架构，并且在这个架构之上还实现了许多增强集群管理能力的特性。Router 将挂载表从 Client 中抽离了出来，解决了挂载表不一致的问题，本篇文章就会介绍 HDFS Router-based Federation 的架构和特性。
-
编辑 删除
Docker最佳实践：5个方法精简镜像
精简Docker镜像的好处很多，不仅可以节省存储空间和带宽，还能减少安全隐患。优化镜像大小的手段多种多样，因服务所使用的基础开发语言不同而有差异。本文将介绍精简Docker镜像的几种通用方法。
-
编辑 删除
HBase Replication详解
本文从全局出发，详细讲解了HBase的Replication和Replication Endpoint的用法及实践。
-
编辑 删除
Kubernetes监控在小米的落地
小米的弹性调度平台（Ocean）以及容器平台主要基于开源容器自动化管理平台kubernetes（简称k8s）来提供服务，完善的监控系统提高容器服务的质量的前提。不同于传统物理主机，每个容器相当于一个主机，导致一台物理主机上的系统指标数量成本增长，总的监控指标规模相当庞大（经线上统计，每node指标达到10000+）。此外，为了避免重复造轮，需要最大限度的利用公司的监控报警系统，需要把k8s的监控和报警融入其中。在小米现有的基础设施之上，落地该监控，是一个不小的挑战。
-
编辑 删除
一文读懂HBase多租户
多租户(multi-tenancy technology)，参考维基百科定义，它是在探讨与实现如何于多用户的环境下共享相同的系统或程序，并且仍可确保各用户间数据的隔离性。随着云计算时代的到来，多租户对于云上服务显得更加重要。所以HBase也有许多多租户相关的功能，其为多个用户共享同一个HBase集群，提供了资源隔离的能力。本文将从Namespace&ACL，Quota，RSGroup三个方面来进行介绍。
-
编辑 删除
HDFS短路读详解
Hadoop的一个重要思想就是移动计算，而不是移动数据。我们更愿意尽可能将计算移动到数据所在节点。因此，HDFS中经常出现客户端和数据在一个节点上，当客户端读取一个数据块时，就会出现本地读取。例如HBase场景，ResionServer写数据一般在HDFS中都会存储三备份副本并且肯定会往本地节点写一备份，当ResionServer读取该数据时也会优先选择同一节点的数据进行读取。
-
编辑 删除
HDFS Decommission问题分析
本文通过更改配置及数据结构改造，快速解决HDFS Decommission缓慢问题。c3prc-xiami有大量raid单副本文件，decommission单个datanode速度很慢，观察监控指标
-
编辑 删除
浅谈Docker的安全性支持（下篇）
前面我们为大家介绍了Docker支持容器root用户的 Capability 能力限制、镜像签名、Apparmor的MAC访问控制、使用Seccomp限制系统调用等安全性支持，这篇文章我们会为大家介绍Docker其他安全性特性支持。
-
编辑 删除
浅谈Docker的安全性支持（上篇）
Docker作为最重视安全的容器技术之一，在很多方面都提供了强安全性的默认配置，其中包括：容器root用户的 Capability 能力限制、Seccomp系统调用过滤、Apparmor的 MAC 访问控制、ulimit限制、pid-limits的支持，镜像签名机制等。这篇文章我们就带大家详细了解一下。
-
编辑 删除
如何解决Redis中的key过期问题
Twitter内部运行着多个缓存服务。其中一个是由Redis实现的。我们的Redis集群中存储了一些Twitter重要的用例数据，例如展示和参与度数据、广告支出计数和直接消息。
-
编辑 删除
从HBase offheap到Netty的内存管理
HBase作为一款流行的分布式NoSQL数据库，被各个公司大量应用，其中有很多业务场景，例如信息流和广告业务，对访问的吞吐和延迟要求都非常高。HBase2.0为了尽最大可能避免Java GC对其造成的性能影响，已经对读写两条核心路径做了offheap化，也就是对象的申请都直接向JVM offheap申请，而offheap分出来的内存都是不会被JVM GC的，需要用户自己显式地释放。
-
编辑 删除
浅谈动态追踪技术
身为一个SRE，工作中经常会遇到各种奇奇怪怪的服务异常问题。这些问题在staging（测试环境）没有发现，但放到真实的生产环境就会碰到，最关键的是难以复现，某些问题可能是几个月才会复现。
