专车数据层「架构进化」往事
亲历了专车数据层「架构进化」的过程。这次工作经历对我而言非常有启发性,也让我经常感慨:“好的架构果然是一点点进化来的”。
小红书自研KV存储架构如何实现万亿量级存储与跨云多活
RedKV是小红书自研的一款基于NVMeSSD的分布式NoSQL KV存储系统,支持无中心和有中心的两种管控架构,旨在解决公司内实时落盘的KV存储需求。RedKV1.0基于Gossip协议做节点管理,在全公司已经大规模使用,实时QPS接近1亿/秒,存储量在数PB级别。RedKV2.0采用中心Shard管理架构,支持全球多云多副本在线弹性伸缩,异地容灾和服务秒级切换。
同事改Bug飞快,原来掌握了这些代码Debug技巧
代码Debug调试是研发工程师日常工作中必不可少的重要组成部分。进行代码Debug调试的目的无非就两个,一个是自我检查代码逻辑是否有问题,便于自己将Bug消灭在测试介入之前;另一个是进行线上问题排查定位,找到实际在跑业务的过程中出现的Bug。
同事每天早下班,原来是用了这8个开发工具
工欲善其事必先利其器,说的就是工匠要想更加高效的做事情,就得先将工具变得锋利。那么对于程序员来说同样也是如此,如果要想每天早点下班,就必须借助于一些开发工具来提高自己的工作效率。
为什么阿里巴巴禁止数据库中做多表join?
而实际操作过程中,我们平时确实在SQL中写JOIN也比较少,两张表JOIN有的时候也有,多张表的JOIN在离线数据分析的时候很多,但是在线系统确实很少。经常有人问我为什么?
SQL 不知道咋优化?吹一手 join 语句的优化准没错
面试最怕遇到的问题是什么,如何做优化一定当仁不让,SQL 优化更是首当其冲,这里先跟大家分享一个比较容易理解的 join 语句的优化~
一条SQL查询语句是如何执行的?
MySQL是典型的C/S架构(客户端/服务器架构),客户端进程向服务端进程发送一段文本(MySQL指令),服务器进程进行语句处理然后返回执行结果。
用三国杀讲分布式算法,舒适了吧?
学习分布式协议和算法的路线可以是先学习四大基础理论,作为地基,再学习分布式协议和算法,就像是在地基上建房子。地基打好了,才能建更稳固的高楼大厦。
紫霞仙子:顶得住区块链的十二连问吗?
本文用一个故事开头,大白话讲解了区块链的概念,然后用 11 个核心问题来理清区块链中大家常关心的问题。本文既是一篇科普文章,也是一篇原理性文章。
数据湖Iceberg技术在小米的落地与场景应用
随着流批一体技术的发展,和对实时查询的需求以及出于成本的优化考虑,小米对数据湖 iceberg 技术做了一些实践和场景落地。
Presto + Alluxio:B站数据库系统性能提升实践
在日常线上生产环境中有大量的数据需要被访问,为了保证数据同步以及查询效率,需要耗费较大的资源,同时,很多被查询和访问的数据是重复的,这对数据库系统造成极大压力。
网易数帆数据治理演进
本文将分享网易数帆数据治理的发展过程,以及对现代数据治理的概念和理念的理解,提出现代数据治理应该与数据开发和消费很好地衔接,具备开发治理一体化、形成治理的闭环、仓内仓外统一治理和建立数据资产门户等核心特点。
数据库优化技巧 - SQL语句优化
我们常说的数据库优化,可以从哪些维度入手?
博客站的架构渐进升级优化,亿级日写量架构又是什么样呢?
Hadoop分布式文件系统(HDFS)会不会被淘汰?
通俗理解大数据及其应用价值
传统应用系统架构向微服务应用架构升级的实战案例
明明加了唯一索引,为什么还是产生重复数据?
一次 MySQL 误操作导致的事故,「高可用」都顶不住了!
这次是我们在项目中遇到的一次事故,来一起复盘下吧。