简单聊聊实时数仓
现在在一些大型企业里,实时数仓是个筐,什么东西都要往里装。只要是OLTP系统中考虑不周的,亦或做起来挺麻烦的,开发商都会往实时数仓里推。前阵子参加一个项目方案的评审会,很多专家提出一些历史数据分析、即席查询等相关的业务实现,开发商直接就说这个交给数据中台来实现,本项目不建设。这位大哥实际上是知道的,
简单分析下GOLDENDB
GOLDENDB是金融行业使用的比较广泛的一个数据库产品,以前也经常有朋友希望我写几篇分析GoldenDB数据库的文章。说实在的这类文章不好写,必须对某个产品有一定程度的了解,特别是真正上手用过之后,感受才会比较真实。因为之前一直没机会接触GoldenDB,因此也没法写此类文章。应我们的一个D-SM
StarRocks 技术内幕:向量化编程精髓
作者:康凯森,StarRocksPMC,负责查询方向的研发本文是对我在StarRocks线下MeetUp演讲的整理,主要分为三部分:第一部分简要介绍向量化的基础知识,第二部分讲解数据库如何进行向量化,最后是StarRocks向量化实践后的一些粗浅思考。#01向量化为什么可以提升数据库性能?—本文所讨
硬币--翻转
关注下方公众号,分享硬核知识作者|小K出品|公众号:小K算法(ID:xiaok365)1故事起源有n个硬币,每个硬币可能正面或者反面朝上。如果每次翻转一个硬币,在进行一定次数的翻转后,就可以使所有的硬币都正面朝上或者反面朝上,即状态一致。请问是否存在一个固定的次数k,使得初始时无论是哪种状态,都可以
从零开始实现一个MyBatis加解密插件
作者:vivo互联网服务器团队-LiGang本篇文章介绍使用MyBatis插件来实现数据库字段加解密的过程。一、需求背景公司出于安全合规的考虑,需要对明文存储在数据库中的部分字段进行加密,防止未经授权的访问以及个人信息泄漏。由于项目已停止迭代,改造的成本太大,因此我们选用了MyBatis插件来实现数
递归优化的这三种方式你知道吗?
估计找工作的,都会碰到面试官老是问道“递归算法”,感同身受,前段时间面试的时候,就有一家问道这个问题,是非常典型的问题。在前面一篇世界上有哪些代码量很少,但很牛逼很经典的算法或项目案例?,递归应该算是比较“经典”的算法。1.从斐波那契数列开始说起波那契数列指的是这样一个数列1,1,2,3,5,8,1
干货 | 携程Dynamo风格存储的落地实践
作者简介根泰,携程高级后端开发工程师,关注数据存储和数据库领域。遐龄,携程研发总监,关注大数据存储、性能调优。Dynamo风格数据库来源于亚马逊的Dynamo:Amazon’sHighlyAvailableKey-valueStore论文,在该论文中论述了一种无主复制的数据库,受此启发,携程酒店开发
现代数据栈:一些深入的思考
.css-1yuhvjn{margin-top:16px;}.css-3jt6os.FileLinkCard{-webkit-align-items:center;-webkit-box-align:center;-ms-flex-align:center;align-items:center;ba
12800字!SQL 语法速成手册(干货满满,建议收藏!)
.css-1yuhvjn{margin-top:16px;}.css-3jt6os.FileLinkCard{-webkit-align-items:center;-webkit-box-align:center;-ms-flex-align:center;align-items:center;ba
Colocate Join :ClickHouse的一种高性能分布式join查询模型
.css-1yuhvjn{margin-top:16px;}.css-3jt6os.FileLinkCard{-webkit-align-items:center;-webkit-box-align:center;-ms-flex-align:center;align-items:center;ba
我用这个技术,干掉几千行 if else!
大家好我是鱼皮,今天我将用一个有趣的小例子来带大家入门企业开发中非常实用的技术——工作流,用好这个技术,可以帮你消除项目中大量的ifelse代码,让你的项目更好维护和扩展。本文视频演示:https://www.bilibili.com/video/BV13d4y1o7iB/什么是工作流?工作流顾名思
JVM 三色标记算法,原来是这么回事!
大家好,我是树哥。最近和一个朋友聊天,他问了我JVM的三色标记算法。我脑袋一愣发现竟然完全不知道!于是我带着疑问去网上看了几天的资料,终于搞清楚啥是三色标记算法,它是用来干嘛的,以及它和CMS回收器和G1回收器的关系了。今天,就让树哥带着大家一起盘一盘它!文章思维导图根可达算法我们要进行垃圾回收,就
美团搜索粗排优化的探索与实践
总第528篇2022年第045篇粗排是工业界搜广推系统的重要模块。美团搜索排序团队在优化粗排效果的探索和实践中,基于业务实际场景,从精排联动和效果性能联合优化两方面优化粗排,提升了粗排的效果。本文介绍了美团搜索粗排的迭代路线、基于知识蒸馏和自动神经网络选择的粗排优化工作,希望为从事相关工作的同学带来
学习集合类源码对我们实际工作的帮助和应用!
文章首发在公众号(月伴飞鱼),之后同步到掘金和个人网站:xiaoflyfish.cn/「觉得有收获,希望帮忙点赞,转发下哈,谢谢,谢谢」Java的集合类包括Map和Collection两大类。Collection包括List、Set和Queue三个小类。「如下图:」这边文章通过源码解读的方式带大家了
麻了,代码改成多线程,竟有9大问题
大家好,我是苏三,又跟大家见面了。文末留言送书啦!!!前言很多时候,我们为了提升接口的性能,会把之前单线程同步执行的代码,改成多线程异步执行。比如:查询用户信息接口,需要返回用户基本信息、积分信息、成长值信息,而用户、积分和成长值,需要调用不同的接口获取数据。如果查询用户信息接口,同步调用三个接口获
一篇文章了解 Docker 的安装、启动以及工作原理!
Docker浅谈1.1Docker为什么出现我们知道,传统的项目开发和运维是两套环境,而且要一一配置环境并且有的时候更新还会导致服务不可用,这就很麻烦了,那么有没有一种很方便不用这么麻烦的技术可以一键安装呢?有!那就是我们的Docker。1.2
Docker容器技术剖析
容器的发展史容器是一个通用性的技术,不指代某一个特定的软件产品。由于Docker的诞生,带动了容器技术的大火,以至于后面很多时候说的容器都指向Docker,其实除了Docker,还有许多其他的容器技术,比如RKT,LXC,Podman等。其实,在Docker诞生之前,容器技术
超大型金融机构国产数据库全面迁移成功实践
刘伟光阿里巴巴集团副总裁阿里云智能新金融&互联网事业部总经理导语2021年9月,某超大型金融机构圆满实现最后一个规模高达20TB+核心数据库的全面迁移改造工作,也为后续向云原生多活架构演进打下了坚实的基础。该核心系统数据库全量迁移项目的成功上线,树立了金融行业践行科技强国的标杆实践。将历时一
Docker 暴重大安全漏洞:外部网络可直接访问 127.0.0.1 服务。。。
前些天HackerNews上面有一个贴子火了,这是一封发给Docker安全团队的邮件,主要讲的是Docker有一个非常离谱的安全隐患。即使你通过像-p127.0.0.1:80:80这样的参数将端口暴露到回环地址,外部仍然可以访问该服务,怎么回事呢?原因其实很简单,Docker添加了这样一条
详解 Docker 容器监控
🌟前言在企业中,通常业务是不允许随意停止的,否则将给企业带来巨大的经济损失。运维工程师要保证业务正常运行,就必须利用工具时刻监控业务的运行状态,容器中的业务也不例外。除了容器自身的监控命令外,还有一些针对容器的动态特征而开发的第三方监控工具。本章将对容器监控及其相关内容进行详解。1.Docker监控