巧用 Docker Buildx 构建多种系统架构镜像
DockerBuildx是一个DockerCLI插件,其扩展了Docker命令,支持MobyBuildKit提供的功能。提供了与DockerBuild相同的用户体验,并增加了许多新功能。BuildKit是下一代的镜像构建组件,主
面试官问:数据库 delete 表数据,磁盘空间还是被一直占用,为什么?
最近有个上位机获取下位机上报数据的项目,由于上报频率比较频繁且数据量大,导致数据增长过快,磁盘占用多。为了节约成本,定期进行数据备份,并通过delete删除表记录。明
如何科学破解慢SQL?
今天和大家聊一个常见的问题:慢SQL。通过本文你将了解到以下内容:慢SQL的危害SQL语句的执行过程存储引擎和索引的那些事儿慢SQL解决之道后续均以MySQL默认存储引擎InnoDB为例进行展开,话不多说,开搞!1.慢SQL的危害慢SQL,就是跑得很慢的SQL语句,你可能会问慢SQL会有啥问题吗?试
我们为什么要分库分表?
在文章开头先抛几个问题:(1)什么时候才需要分库分表呢?我们的评判标准是什么?(2)一张表存储了多少数据的时候,才需要考虑分库分表?(3)数据增长速度很快,每天产生多少数据,才需要考虑做分库分表?这些问题你都搞清楚了吗?相信看完这篇文章会
百亿数据毫秒级返回的实时ES索引,不会建不至于吧?
前言大家好,我是坤哥,今天我想和大家聊一聊实时索引的构建之道,来自我司PB级索引数据的实战经验,相信对大家肯定有帮助。近年来公司业务迅猛发展,数据量爆炸式增长,随之而来的的是海量数据查询等带来的挑战,我们需要数据量在十亿,甚至百亿级别的规模时依然能以秒级甚至毫秒级的速度返回,这样的话显然离不开搜索引
一款优秀数据库中间件的不完全解析
本文内容概述数据库中间件有啥用架构剖析之高屋建瓴2.1.整体概述2.2.组件图看架构细节剖析之一叶知秋3.1.配置加载和bean初始化3.2.细说读写分离总结Part1数据库中间件有啥用有一天,你去三亚玩耍,就想玩个冲浪,即时你不差钱,难道还要自己采买快艇、滑板等等装备来满足这为数不多的心血来潮么。
SQL任务运行时间省40%,后悔没早从Hive迁到Spark……
导读:在滴滴SQL任务从Hive迁移到Spark后,SparkSQL任务占比提升至85%,任务运行时间节省40%,运行任务需要的计算资源节省21%,内存资源节省49%。在迁移过程中我们沉淀出一套迁移流程,并且发现并解决了两个引擎在语法,UDF,性能和功能方面的差异。一、迁移背景Spark自从2010
ThreadLocal内存溢出代码演示和原因分析!
前言ThreadLocal翻译成中文是线程本地变量的意思,也就是说它是线程中的私有变量,每个线程只能操作自己的私有变量,所以不会造成线程不安全的问题。所谓的线程不安全是指,多个线程在同一时刻对同一
synchronized 的超多干货!
synchronized这个关键字的重要性不言而喻,几乎可以说是并发、多线程必须会问到的关键字了。synchronized会涉及到锁、升级降级操作、锁的撤销、对象头等。所以理解synchronized非常重要,本篇文章就带你从synchronized的基本用法、再到synchronized的深入理解
synchronized 的超多干货!
synchronized这个关键字的重要性不言而喻,几乎可以说是并发、多线程必须会问到的关键字了。synchronized会涉及到锁、升级降级操作、锁的撤销、对象头等。所以理解synchronized非常重要,本篇文章就带你从synchronized的基本用法、再到synchronized的深入理解
面试必备:4种经典限流算法讲解
最近,我们的业务系统引入了Guava的RateLimiter限流组件,它是基于令牌桶算法实现的,而令牌桶是非常经典的限流算法。本文将跟大家一起学习几种经典的限流算法。公众号:捡田螺的小男孩限流是什么?维基百科的概念如下:Incomputernetworks,ratelimitingisusedtoc
执行asmcmd报错Can not create path处理
某exadata环境执行asmcmd报错,Cannotcreatepath/u01/app/log/diag/asmcmd...,创建短目录后,递归目录自行创建,再次执行恢复正常。1.asmc
Docker 极简入门指南,10 分钟就能看懂~
富Web时代,应用变得越来越强大,与此同时也越来越复杂。集群部署、隔离环境、灰度发布以及动态扩容缺一不可,而容器化则成为中间的必要桥梁。本节我们就来探索一下Docker的神秘世界,从零到一掌握Docker的基本原理与实践操作。别再守着前端那一亩三分地,是时候该开疆扩土了。我们将会围绕下面几点展开:讲
展开讲讲,一组数据库趋势分析与预测
近些年来,数据库产业发展迅猛。本文尝试从收集的信息中分析当前全球及国内数据库市场现状及未来发展趋势。1.全球数据库市场情况伴随着数据规模的高速增长,全球数据库市场增长迅速,整体市场空间巨大。*2010-2025年全球数据规模量,来源IDC在全球数据库市场中,关系型数据库占
为什么 Google 和 Facebook 不用 Docker
本文涉及的所有技术细节都可以在开源软件和论文中找到。写作本文的起因是我想让修改后的分布式PyTorch程序能更快的在Facebook的集群上启动。探索过程很有趣。也展示了工业机器学习需要的知识体系。2007年我刚毕业后在Google工作过三年。当时觉得分布式操作系统Borg真好用。从2010年离开G
千人千面系统,这样搞比较靠谱【干货】
本文详细描述了千人千面的具体业务逻辑、技术方案和推荐算法,以及需要注意的问题。阅读全文需要15分钟。互联网行业的快速发展,给我们带来了极大的便利。回顾整个互联网行业的发展历程,从PC时代到移动互联网时代,从移动互联网时代到IOT(物联网)
水平扩展太难了!PolarDB-X 为你支招
引言水平扩展(ScaleOut)对于数据库系统是一个重要的能力。采用支持ScaleOut架构的存储系统在扩展之后,从用户的视角看起来它仍然是一个单一的系统,对应用完全透明,因此,它可以使数据库系统能有效应对不同的负载场景,对用户非常用价值。但是,数据库本身是一个有状态的系统,所以,它的水平扩展是一件
图解 | epoll怎么实现的
epoll可以说是编写高性能服务端程序必不可少的技术,在介绍epoll之前,我们先来了解一下多路复用I/O吧。多路复用I/O多路复用I/O:是指内核负责监听多个I/O流,当任何一个I/O流处于就绪状态(可读或可写)时都会通知进程,以便可以处理该I/O流上的数据。如图1所示:如图1所示,内核负责监听多
Docker,为什么你容器刚启动就停了?
很多docker初学者,在运行容器的时候,或者是写第一个dockerfile的时候,问题最多的就是容器启动后就停了,怎么看都觉得命令没有问题,容器也没有错误日志,dockerfile也就那么几条……其实你没有错,错的是docker,它执行的太快了这话怎么说呢,我拿nginx官方的dockerfile
米家插件平台的技术实践之路
2016年小米正式发布米家品牌,此后米家开始接入第三方的智能硬件产品,小米的IoT生态也迎来了快速发展。截止到2020年Q3,小米AIoT平台已连接的IoT设备(不包括智能手机及笔记本电脑)数达到2.89亿台。如何高效的接入和管理这么多设