ITPub博客

为什么是脏活、累活？1.源数据烟囱式开发：业务繁多、数据库多而乱，系统与系统之间错综复杂数据库种类：架构经历多次变迁，切换不完全，需要从Mysql、oracle、hbase甚至excle表中跨库、跨实例、跨种类才能获得有效业务数据数据结构混乱：同一字段，类型、命名都不一致文档缺失：无数据库文档或文档

（本文转自BAT大数据架构）一数仓star二数仓建设2.1架构选型2.2开发大体流程2.3开发详细流程及规范2.3.1清洗规范2.3.2数据同步规范2.3.3数仓分层规范2.3.4词根规范2.3.5模型评审规范2.3.6开发规范三数据治理3.1数据质量管理3.2数据成本治理3.3数据安全3.4元数据

原文链接:https://juejin.cn/post/7113503219904430111?share_token=a2d6b49c-d8ce-4448-acd3-d71bbc6e228d作者：小白背景随着SPA大规模的应用，紧接着就带来一个新问题：一个规模化应用需要拆分。一方面功能快速增加导致

正文开始公司的2021年工作会议刚刚开完，老板对于数字化转型充满期待，而大鱼则感受到了很大的压力，作为数据团队的负责人，其实自己也不知道能不能完成这些任务，有时真想做个纯粹的技术人员，可以简单一点。在数据治理前进的路上，始终守着四个小鬼，只要不赶走它们，就很难到达那个彼岸。1、业务：数字化颠覆业务流

前言高并发经常会发生在有大活跃用户量，用户高聚集的业务场景中，如：秒杀活动，定时领取红包等。为了让业务可以流畅的运行并且给用户一个好的交互体验，我们需要根据业务场景预估达到的并发量等

上周我写的一篇文章《关于技术能力的思考和总结》引起了大家的关注，好多读者的评论“以写代想、以想促真、以讲验真”，大家的感受很深刻，基于上次的文章，这篇文章我其实更想跟大家聊聊一些常用的思考方法，思考问题的方式对了，往往可以帮助大家少走弯路。常用思考方法技术常用思考方法技术思考本质还是结构化思考，所以

做IT相关的工作，肯定都离不开网络，网络中最重要的协议是TCP。无论是实际工作还是笔试面试，你看哪里能少得了TCP?我看过RFC中与TCP相关的文档，也看过linux中TCP相关的源码，也看过不少框架中的TCP相关的代码，对TCP是有点感觉了。

目录一、序言二、背景介绍三、治理体系化思考3.1什么是数据治理体系化？3.2数据治理体系化如何解决目前治理存在的问题？3.3业务数据管治体系框架如何建设？3.4体系框架如何落地实施？四、治理体系化实践4.1标准化4.2数字化4.3系统化五、业务数据治理实施流程六、总结与展望一、序言美团住宿数据治理团

随着近几年数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论就一直不断。有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的

来源：DeepHubIMBA本文共1200字，建议阅读5分钟“当算法给你一条曲线时，一定要知道这个曲线的含义！”1、偏差-方差权衡这是一个总是在机器学习最重要理论中名列前茅的概念。机器学习中的几乎所有算法（包括深度学习）都努力在偏差和方差之间取得适当的平衡，这个图清楚地解释了二者的对立关系。2、基尼

RESTREST(REpresentationalStateTransfer）是RoyFielding博士于2000年在他的博士论文中提出来的一种软件架构风格(一组架构约束条件和原则)。在该论文的中文译本

1、Elasticsearch线上实战问题问个问题啊，es能通过两个字段差值进行查询吗？类似select*frommyindexwhereendtimes-starttime>10这种？——问题来源：死磕Elasticsearch知识星球那么问题来了，Elasticsearch如何实现时间差的

公司在2022年工作会议上提出了“5141”数智驱动的商业智能总体框架（如下图所示），要求围绕顶层设计、组织保障、流程运营、IT支撑、数据安全治理、数据消费六个方面构建企业级数据治理体系，确保数据从产生、处理到消费的端到端全流程高质量运转，有效提升客户体验和企业运营效率，持续推动业务创新。自己有幸参

一、from+size浅分页"浅"分页可以理解为简单意义上的分页。它的原理很简单，就是查询前20条数据，然后截断前10条，只返回10-20的数据。这样其实白白浪费了前10条的查询。GETtest_dev/_search{"query":{"bool":{"filt

我们先来看看这张图，这是某公司使用的大数据平台架构图，大部分公司应该都差不多：从这张大数据的整体架构图上看来，大数据的核心层应该是：数据采集层、数据存储与分析层、数据共享层、数据应用层，可能叫法有所不同，本质上的角色都大同小异。所以我下面就按这张架构图上的线索，慢慢来剖析一下，大数据的核心技术都包括

如果您寻找一个GUI工具来管理Docker容器，会发现选择远比想象的多。这些工具有的过于简单，有的异常复杂。然而，您时不时会发现某个桌面客户软件在简化容器管理方面做得非常出色。DockStation就是这样一个GUI工具，它适用于Linux、macOS和Wind

一、前言上一篇文章《云原生背景下的运维价值思考与实践(上)》重点介绍了云原生背景下运维转型的思考，围绕着整个DevOps交付链，贴近业务不断输出运维的能力与价值。这篇内容我想谈谈DevOps的下半段，通过我们的构建服务稳定性保障实

2020年以来，新冠疫情改变了全球经济的运行与人们的生活。数字化的生产与生活方式成为后疫情时代的新常态。今天，云计算已经成为全社会的数字经济基础设施，而云原生技术正在深刻地改变企业上云和用云的方式。如何利用云原生技术帮助企业实现降本增效是很多IT负责人关注的话题。阿里巴巴一直是云原生领域的的探索者和

数据架构的本质是数据模型和数据流（或叫数据分布），《华为数据之道》将数据架构分为数据资产目录、数据标准、数据模型及数据分布，DAMA将数据架构分为数据模型和数据流设计，差不多就是这个意思。但数据架构到底如何构建？有没有现成的案例可以参考呢？今天就结合企业管理信息域MSS具体案例跟大家讲一讲数据架构建

译者：Colstuwjx来源：colstuwjx.github.io/2020/01/翻译-微服务架构及设计模式/原文：medium.com/@madhukaudantha/microservice-architecture-and-design-patterns-for-microservices