ITPub博客

云原生无服务器数仓最佳实践与实时数仓架构演讲简介：本次演讲将主要介绍AmazonRedshift的10年的技术演进，最新的RedshiftServerless架构、应用场景和最佳实践，同时也会介绍Redshift在实时数仓方向上的最新更新。分享提纲：1.AmazonRedshift10年技术创新与演

探究企业级数据存储高可靠与高效的实现方法--数据与存储技术演讲简介：研发与运维对系统多关注的是功能、性能、冗余与稳定性等技术，在公司级考量技术的方法多有局限性与无赖性（指标不全，整体体系弱、系统多而良莠不齐等），如何才能做好系统，可能在实现上因为各种限制性而无法展开或者思路不够。对于大数据，数据库关

CloudBigtable在广告技术中的使用演讲简介：GoogleCloudBigtable是全托管的可扩缩的NoSQL数据库服务，用于处理大规模分析和运营工作负载，可用性达99.999%；延迟时间始终在10毫秒以内，每秒可处理数百万个请求。其技术特别非常适用于广告技术平台。我们的演讲将以Bigta

多region分布式数据库方案与实践演讲简介：主题简介：相比较关系型数据库、NoSQL数据库，NewSQL数据库是数据库发展技术第三个阶段，而其中的分布式数据库架构和技术是NewSQL主要落地实现方式。不仅现在国内外数据库厂商在如火如荼地进行分布式数据库的开发和探究，作为数据库用户，也有很多实际的分

斗鱼云原生数据库建设实践演讲简介：主题简介：斗鱼云原生数据库实践，主要介绍斗鱼如何实现数据库容器化，如何进行云原生改造，并如何通过流程改造提升数据库开发效率分享大纲：1.斗鱼数据库容器化实践2.斗鱼数据库云原生架构体系介绍3.研发与数据库的交互改造4.如何解决高可用和扩容等场景分享要点：1.结合在直

20000节点数仓集群在大型商业银行的落地实践演讲简介：数据仓库在商业银行有着几十年的建设发展历程，在过去的十年中，大多数商业银行普遍选择MPP架构的数据库来进行数据库仓库的底层搭建。不过，随着银行数字化的快速发展，传统MPP架构的数据库慢慢开始无法满足日益增长的海量数据的存储和计算需求。为了满足在

海量异构数据，在线业务存储架构演进与实践演讲简介：公司从小到大，业务从少到多，各个业务对用户/订单等模块的存储属性要求不同，但对它们的海量存储，在线查询，在线检索，实时通知的要求是相同的。在业务逐步发展，数据量逐渐增大，需求越来越复杂的过程中，要如何设计存储架构，各个阶段会遇到怎么样的问题，该用怎样

字节跳动图数据架构演进——索引和执行优化演讲简介：ByteGraph是字节跳动2018年开始自研的分布式图数据存储系统。目前，ByteGraph支持了头条、抖音、广告、推荐、风控、知识图谱等几乎全部产品线，服务遍布全球机房。由于服务的业务不断增加，我们也面临了各种各样的新型的业务场景，对ByteGr

优炫数据库面向核心业务系统的高可用高性能解决方案演讲简介：1.核心业务系统面临的挑战与对数据库的需求目前核心业务系统大多采用主备/主从、分布式数据库２种部署方式，但均存在一些问题。如主备/主从难以从容应对系统压力过于集中的情况；分布式数据库存在SQL语法受限、响应慢的情况。同时业务系统与分析系统数据

多云环境下的云数据库管理演讲简介：随着B站游戏、国际版等业务的不断扩张及用户增长，云原生数据库越来越多，这其中包括阿里云、腾讯云、金山云、华为云等等多种不同云厂家，对于云原生数据库的管理也逐渐处于失控状态。所以我们针对B站目前的多云结构，定制化开发了多云环境下的云原生数据库管理平台，来对云原生DB进

分布式数据库选型与实战演讲简介：本次演讲介绍金融行业的分布式数据库选型及实战，包括：1）分布式数据库的整体发展状况2）主流分布式数据库的架构特点比较、选型考虑3）从Oracle数据库往分布式数据库迁移4）迁移分布式数据库前使用数据库画像脚本识别表膨胀思路5）迁移分布式数据库前使用数据库画像脚本进行”

事务一致性演讲简介：大纲：1什么是一致性？什么是数据的多副本一致性？（什么是强一致性？）什么是事务一致性？什么是分布式一致性？2事务一致性技术的问题和挑战什么是可串行化一致性？（理想化的事务强一致性）什么是冲突可串行化一致性？（工程实践中的事务强一致性）什么是无异常一致性？数据异常和一致性的关系是什

FastDataDataFacts建设数据智能平台的实践演讲简介：当前在很多企业中，建设数据平台，有较多的痛点，如数据平台建设慢、数据任务类型多、数据开发协同难、数据安全风险高、数据管理无体系、数据质量优化难、数据模型优化难、数据运营监控难、数据安全共享难等。滴普FastDataDataFacts面

知识分享，以技会友。大家好，我是Tom哥。阅读本文大约需要15分钟。缓存设计可谓老生常谈了，早些时候都是采用memcache，现在大家更多倾向使用redis，除了知晓常用的数据存储类型，结合业务场景有针对性选择，好像其他也没有什么大的难点。工程中引入RedisClient二方包，初始化一个Bean实

一、自助分析场景OLAP技术选型1.1背景1.2OLAP选型考量1.3ClickHouse二、高斯平台自助分析场景2.1系统介绍2.2系统架构2.3ClickHouse在高斯平台的业务场景三、ClickHouse的优化实践3.1内存优化3.2性能调优参数3.3亿级数据JOIN四、ClickHouse

大家好，我是苏三，又跟大家见面了。前言在分布式系统中，由于redis分布式锁相对于更简单和高效，成为了分布式锁的首先，被我们用到了很多实际业务场景当中。但不是说用了redis分布式锁，就可以高枕无忧了，如果没有用好或者用对，也会引来一些意想不到的问题。今天我们就一起聊聊redis分布式锁的一些坑，给

点击上方卡片进入五分钟学大数据主页然后点击右上角“设为星标”比别人更快接收好文章本文目录一、ApacheSpark二、SparkSQL发展历程三、SparkSQL底层执行原理四、Catalyst的两大优化传送门：HiveSQL底层执行过程详细剖析一、ApacheSparkApacheSpark是用于

大家好，我是小林。我们都知道Redis提供了丰富的数据类型，常见的有五种：String（字符串），Hash（哈希），List（列表），Set（集合）、Zset（有序集合）。随着Redis版本的更新，后面又支持了四种数据类型：BitMap（2.2版新增）、HyperLogLog（2.8版新增）、GEO

点击上方“程序开发者社区”关注，选择“设为星标”时间送达实用干货KESY命令时间复杂度:O(N),假设Redis中的键名和给定的模式的长度有限的情况下，N为数据库中key的个数。RedisKeys命令用于查找所有符合给定模式pattern的key尽管这个操作的时间复杂度是O(N),但是常量时间相

作者：vivo互联网服务器团队-ZhangRong一、背景随着vivo业务迁移到k8s的增长，我们需要将k8s部署到多个数据中心。如何高效、可靠的在数据中心管理多个大规模的k8s集群是我们面临的关键挑战。kubernetes的节点需要对os、docker、etcd、k8s、cni和网络插件的安装和配