ITPub博客

点击上方卡片进入五分钟学大数据主页然后点击右上角“设为星标”比别人更快接收好文章文档大纲：本文上半部分之前已经发过了，传送门：50000字，数仓建设保姆级教程，离线和实时一网打尽(理论+实战)上此篇文章是整个文档的下半部分，将接着上半部分从第五章开始。此文档完整版现已开放，无门槛领取此文档完整版，只

导读：大数据正在成为经济社会发展的新的驱动力。随着云计算、移动互联网等网络新技术的应用和发展，社会信息化进程进入大数据时代，海量数据的产生与流转成为常态。而大数据技术也如雨后春笋般正在蓬勃发展中。Hadoop分布式架构无疑是当前应用最广泛、最具代表性的大数据技术之一。本文将首先介绍Hadoop技术概

近被大数据相关的小词儿，整的有点懵。索性我们就来个专题，聊透数据库、数据仓库、数据湖以及风头正劲的“Lakehouse”——湖仓一体化。数据仓库是个啥？和数据库有什么不同？数据库的基本概念，大家应该都不陌生。如今但凡是个业务系统，都或多或少需要用到数据库。即便我们不直接跟数据库打交道，它们也在背后

点击关注"爱笑的架构师"右上角"设为星标"好文章不错过Zookeeper是一个分布式服务框架，主要是用来解决分布式应用中遇到的一些数据管理问题如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。我们可以简单把Zookeeper理解为分布式家庭的大管家，那么管家团队是如何选出Leade

不合理的需求，如何能轻松搞定？文章较长，建议提前收藏。可能99%的同学不做搜索引擎，但99%的同学一定实现过检索功能。搜索，检索，这里面到底包含哪些技术，希望本文能够给大家一些启示。需求一：我想做一个全网搜索引擎，不复杂，和百度类似就行，两个月能上线吗？全网搜索引擎架构与流程如何？全网搜索引擎的宏观

点击关注"爱笑的架构师"右上角"设为星标"好文章不错过谈到大数据传输都会想到Kafka，Kafka号称大数据的杀手锏，在业界有很多成熟的应用场景并且被主流公司认可。这款为大数据而生的消息中间件，以其百万级TPS的吞吐量名声大噪，迅速成为大数据领域的宠儿，在数据采集、传输、存储的过程中发挥着举足轻重的

大家好，我是不才陈某~随着数据的日益增多，在架构上不得不分库分表，提高系统的读写速度，但是这种架构带来的问题也是很多，这篇文章就来讲一讲跨库/表分页查询的解决方案。关于分库分表后的其他的问题，请看陈某前一篇文章：聊聊分库分表架构背景笔者曾经做过大型的电商系统中的订单服务，在企业初期时业务量很少，单库

本期作者陆志君数仓平台资深数据开发工程师01从BitMap到RoaringBitMap在海量数据背景下，需要快速对数据进行评估、计算和中间存储，一系列专门为大数据准备的数据结构应运而生。比如HyperLogLog、BloomFilter等，可以快速利用小存储预估出指定的数据量。这些都是基于概率的算法

.css-1yuhvjn{margin-top:16px;}.css-3jt6os.FileLinkCard{-webkit-align-items:center;-webkit-box-align:center;-ms-flex-align:center;align-items:center;ba

Monarch是Pinterest的批处理平台，由30多个HadoopYARN集群组成，其中17k+节点完全建立在AWSEC2之上。2021年初，Monarch还在使用五年前的Hadoop2.7.1。由于同步社区分支（特性和bug修复）的复杂性不断增加，我们决定是时候进行版本升级了。我们最终选择了H

点击上方卡片进入五分钟学大数据主页然后点击右上角“设为星标”比别人更快接收好文章Hive作为大数据平台举足轻重的框架，以其稳定性和简单易用性也成为当前构建企业级数据仓库时使用最多的框架之一。但是如果我们只局限于会使用Hive，而不考虑性能问题，就难搭建出一个完美的数仓，所以Hive性能调优是我们大数

提问：归纳是发现新真理的方式，大数据的技术是不是用来“赋能”归纳，为更好地发现真理？思考：那些从有限数量的特殊事实推出普遍结论的论证，被称之为归纳论证。它们在逻辑上有别于演绎论证。归纳论证不同于演绎论证的一个特点就是，它们把有关某一特定种类的某些事情的命题，推广到有关该类的所有事情的命题。大数据就是

1.随着数据工程和数据分析技术的不断进步，大数据测试是不可避免的。2.大数据处理可以是批处理，实时或交互式处理3.测试大数据应用程序的3个阶段是数据分级验证“MapReduce”验证输出验证阶段4.架构测试是大数据测试的重要阶段，因为设计不佳的系统可能会导致前所未有的错误和性能下降5.大数据的性能测

今天听了一场报告会，是清华计算机系60周年系列讲座之一，主讲人是哈工大软院院长李建中教授，主题《计算和数据资源受限的大数据计算的复杂性理论与高效算法研究》，李老师介绍的大数据计算理论体系很完善，由于只有一个小时，很多只能稍微提及，但是还是有很多观点让我受益匪浅，分享一下。本文预计阅读时间5分钟。什么

一、背景在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会降低研发效率，增加

为进一步加速推动我国数据智能转型进程，推动“十四五”期间数据智能产业交流与合作，由中国信息通信研究院、中国通信标准化协会指导，中国通信标准化协会大数据技术标准推进委员会（CCSATC601）主办的2022大数据产业峰会于6月28日在京召开。在峰会主论坛上，中国信通院云大所所长何宝宏发布了《2022大

有朋友困惑于团队报表取数太多的问题，跟我来探讨提升的方法，这其实是大多数据团队都会碰到的问题，原因无外乎以下几个：第一、市场变化很快，取数要跟着市场节奏走，这意味着响应要尽量快，个性化程度却很高第二、取数属于IT的后端，IT部门是企业的后端，也就是后端的后端，这种生态位让取数团队在企业中处于弱势地位

我的大数据项目没有按照我想要的方式进行？提出这个疑问的绝对不止你一个人。大数据项目的低成功率是过去10年中一个持续存在的问题，与之类似的是：人工智能项目中也出现了相同类型的问题。虽然100%的成功率不是一个可以实现的目标，但用户可以进行一些调整以从数据投资中获得更多收益。随着世界产生更多数据，它也越

大家好，推荐一下老兵抽空整理了企业级数仓建设方案。整体内容包括:数仓架构数仓分层规划数据流向规划数据同步策略数仓命名规范通篇内容紧贴企业级建设主题，参考了一些数仓架构师的数仓建设方法论和企业落地实践方案，希望大家耐心看完。1企业级数仓架构ODS层:贴源层。旨在集团、子公司、互联网及三方外部数据输入层

作者：曹雷来源：滴滴技术01指标体系1.痛点分析主要从业务、技术、产品三个视角来看：业务视角业务分析场景指标、维度不明确；频繁的需求变更和反复迭代，数据报表臃肿，数据参差不齐；用户分析具体业务问题找数据、核对确认数据成本较高。技术视角指标定义，指标命名混乱，指标不唯一，指标维护口径不一致；指标生产，