ITPub博客

数据湖是传统数据仓库概念在源类型、处理类型和用于业务分析解决方案的结构方面的版本。数据湖主要通过云实现，采用多种数据存储和数据处理工具进行架构，基于管理服务的服务用于处理和维护数据湖的数据基础设施。Pentaho首席技术官詹姆斯·迪克森有一个关于数据湖的类比，他创造了“数据湖”这个词。数据湖

点击关注"爱笑的架构师"右上角菜单"设为星标"你会吗？在大型系统中，为了减少数据库压力通常会引入缓存机制，一旦引入缓存又很容易造成缓存和数据库数据不一致，导致用户看到的是旧数据。为了减少数据不一致的情况，更新缓存和数据库的机制显得尤为重要，接下来带领大家踩踩坑。CacheasideCacheasid

一、问题在好大夫在线内部，S3系统负责各业务方操作日志的集中存储、查询和管理。目前，该系统日均查询量数千万次，插入量数十万次。随着日志量的不断累积，主表已经达到数十亿，单表占用磁盘空间400G+。S3是业务早期就存在的系统，当时为了简单快速落地，使用了Mysql来存储，随着业务的不断增长，同时也要兼

作者：vivo互联网数据库团队-XiaQianyong一、背景1.1分布式数据库架构当前分布式数据库架构有不少，但是总体架构相差不大，主要组件都包含协调节点、数据分片、元数据节点、全局时钟。一种常见的分布式架构如下图：gtm：全局事务管理器(全局时钟)，一主多备；catalog:元数据管理，一主多备

题图：来自unsplash（AbbilynZavgorodniaia）数据库选型一直是业界最热议的话题之一如今，国内数据库界可以说是百花齐放，各有千秋，选择多了，选型就变得困难。因为，没有数据库厂商会告诉你，他们的产品不好，只会说自己的产品最优秀。但是，一“库”包打天下，就连最头部的Oracle都做

最近美国芯片限制政策的问题发酵的很厉害，前几天一个朋友说他原来以为数据库是最难国产化的，原来还不是啊。确实是的，相对于芯片这种产业链特别长的IT组件，数据库这种软件相对来说更容易实现国产化。目前在IT领域，中国受益于多年的世界产业分工和国际化协作，发展的很快，不过重点发展还是在应用领域。在基础领域里

谈起消息队列，内心还是会有些波澜。消息队列，缓存，分库分表是高并发解决方案三剑客，而消息队列是我最喜欢，也是思考最多的技术。我想按照下面的四个阶段分享我与消息队列的故事，同时也是对我技术成长经历的回顾。初识：ActiveMQ进阶：Redis&RabbitMQ升华：MetaQ钟情：Rocket

在云原生架构出现之前，大家谈论多的是微服务架构。有的企业可能只有一种架构，有的企业经历过多种架构的演变。架构的选择与企业当前所处的阶段有很大关系，好的架构都是为了解决当下企业面临的业务问题而诞生的。引用王小川老师在中国计算机大会（CNCC）分享的一句话：“技术与业务的关系就像汽车，汽车有三大组件—

来源：谈数据，作者：石秀峰全文共4826个字，建议阅读10分钟近期，我一做数字化咨询的朋友（化名老王）遇到了一个头痛的问题：话说老王的团队近期接了一个大单——一大型制造业的数字化转型规划。老王带领团队奋战了几个月，各种业务调研、信息化调研、高层领导访谈……，终于方案初稿出来了。但是做方案汇报的时候，

这是悟空的第112篇原创文章你好，我是悟空。一、背景不用想象一种异常场景了，这就真实发生了：B站昨天晚上11点突然挂了，网站主页直接报404。手机APP端数据加载不出来。23：30分，B站做了降级页面，将404页面跳转到了比较友好的异常页面。但是刷新下页面，又会跳转到404页面。22：35主页可以加

工作中总是遇到数据存储相关的Bug工单，新需求开发设计中也多多少少会有数据模型设计和存储相关的问题。经过几次存储方案设计选型和讨论后发现需要有更全面的思考框架。日常开发中常用的存储方案选型很多都是“拿来主义”的，凭借着经验、习惯选用，但对它们的细节特性或约束少有研究。除了手边会用的存储方案，也应该关

主数据方法论的文章网上很多了，今天跟大家聊一聊我在实施主数据项目中碰到的六个问题，如下所示，然后给出我的初步思考和建议。主数据的业务驱动在哪里？谁应该来负责主数据建设？主数据项目团队应该如何构成？主数据项目的工作机制如何？如何推进主数据业务流程的梳理？主数据架构如何选择？1、主数据的业务驱动在哪里？

大家好，我是榕树。之前我写了缓存和消息队列的一些文章，下面我整理在一起，方便大家阅读。缓存篇缓存穿透了，怎么办？（缓存系列一）你知道哪几种缓存策略？缓存系列二｜你会怎么设计缓存的高可用？缓存系列三｜你会怎么实现客户端的高可用策略呢？缓存系列四｜你知道redis的高可用策略么？消息队列篇消息队列一｜从

.css-1yuhvjn{margin-top:16px;}.css-3jt6os.FileLinkCard{-webkit-align-items:center;-webkit-box-align:center;-ms-flex-align:center;align-items:center;ba

回顾数据仓库的发展历程，大致可以将其分为几个阶段：萌芽探索到全企业集成时代、企业数据集成时代、混乱时代--"数据仓库之父"间的论战、理论模型确认时代以及数据仓库产品百家争鸣时代。数据仓库理论发展历程上世纪70年代，IBM的E.F.Codd等人提出关系型数据库后，MIT的研究员提出单独构建分析系统的基

.css-1yuhvjn{margin-top:16px;}.css-3jt6os.FileLinkCard{-webkit-align-items:center;-webkit-box-align:center;-ms-flex-align:center;align-items:center;ba

vivo互联网前端团队-JiangZuohan一、背景VAPD是一款专为团队协作办公场景设计的项目管理工具，实践敏捷开发与持续交付，以「项目」为核心，融合需求、任务、缺陷等应用，使用敏捷迭代、小步快跑的方式进行开发及质量跟踪，简化工作流程，帮助团队快速迭代并高效完成产品开发交付。但早期VAPD以“一

目录1.背景2.模型方案产出3.总结01背景58App业务中有城市和县域两个首页，两者中间有一个过渡选择页，用户通过点击该页面下的条目内容可以切换到对应条目的首页；比如：点击“北京”会跳转到北京（市）的首页，点击“大兴”则会跳转到大兴（县）的首页。除了用户直接通过上述提及的选择页切换城市和县域外，5

7月底，国家工业信息安全发展研究中心的2022版《分布式数据库发展趋势研究报告》发布后，我仔细研读了一番。从报告中了解到了不少国产分布式数据库发展的一些前沿性的信息。虽然国外有不少数据库产业发展的而分析报告，不过其分析的内容大多数与我们国家的数据库产业相去甚远，我们国家的产业界也确实需要有一份我们自

大家好，我是校长。前几天呢，我写了一篇文章《为什么说懂业务的程序员很吃香》，大概意思就是：我们程序员不应该只局限于技术层面，也应该涉猎业务层面，在开发的过程当中要学会当一个决策者，而不是一个执行者。然后有读者留言说：大家的心态之所以不愿意涉及业务，是不想多事，毕竟多一事不如少一事。我感觉这是大多数程