-
编辑 删除
场景化、重实操，分享一个实时数仓实践案例
大部分数据团队在进行实时业务建设的初期，都会出现烟囱式开发、一个任务搞定全部数据加工环节等问题，缺乏实时数据的管理和实时数仓分层建设的规范意识。随着实时场景的进一步丰富，出现了实时数据复用、业务方自助进行实时取数等需求，因此要求数据团队要像管理离线数据一样对实时数据进行有规范的实时数仓管理。本文将从
-
编辑 删除
快手实时数仓保障体系研发实践
▼关注「ApacheFlink」，获取更多技术干货▼摘要：本文整理自快手实时计算数据团队技术专家李天朔在FlinkForwardAsia2021实时数仓专场的演讲。主要内容包括：业务特点及实时数仓保障痛点快手实时数仓保障体系架构春节活动实时保障实践未来规划Tips：点击「阅读原文」查看原文视频&am
-
编辑 删除
网易严选离线数仓质量建设实践
做数仓重要的是什么？一是模型易用性，二是数据质量。模型易用性我们可以通过建模规范、指标管理等方式去实现。而对于数据质量呢？本篇将以严选数仓为例，从建设目标、保障措施、效果评价等几方面探讨数仓质量建设。1保障等级确认网易严选离线数仓目前主要基于有数大数据平台进行调度及管理（Azkban），FLO
-
编辑 删除
干货 | 百亿节点，毫秒级延迟，携程金融基于nebula的大规模图应用实践
作者简介霖雾，携程数据开发工程师，关注图数据库等领域。背景2017年9月携程金融成立，在金融和风控业务中，有多种场景需要对图关系网络进行分析和实时查询，传统关系型数据库难以保证此类场景下的关联性能，且实现复杂性高，离线关联耗时过长，因此对图数据库的需求日益增加。携程金融从2020年开始引入大规模图存
-
编辑 删除
Skywalking on the way-千亿级的数据储能、毫秒级的查询耗时 （修订）
目录1、开篇2、为什么需要全链路监控3、为什么选择Skywalking4、预研阶段5、POC阶段6、优化阶段7、后续1、开篇自从Skywaling开始在公司推广，时不时会在排查问题的人群中听到这样的话：“你咋还没接Skywalking？接入后，一眼就看出是哪儿的问题了..."，正如同事所说的，在许多
-
编辑 删除
大数据时代的数据库应用
大家好我是CloudCoder，为云时代的码农，专注分享linux/go/java等相关技术。前言今天问了领导，公司的数据是用哪个数据库进行存储的呀，然后领导说Oracle。我惊了，反问为什么不是Mysql，然后领导说电网行业基本用的都是用的Oracle。我笑着说Oracle不是收费嘛，然后领导说O
-
编辑 删除
B站大数据平台元数据业务分享
本期作者沈汪洋哔哩哔哩开发工程师负责B站数据平台工具侧元数据、数据运营、数据管理等业务方向，专注于元数据采集、血缘应用、数据地图、建模工具、治理工具等工具或产品功能的落地和推广。背景介绍元数据是数据平台的衍生数据，比如调度任务信息，离线hive表，实时topic，字段信息，存储信息，质量信息，热
-
编辑 删除
B站增量数据湖探索与实践
本期作者周晖栋哔哩哔哩开发工程师目前主要负责B站实时团队增量数仓、Hudi数据湖方向。黄靖哔哩哔哩开发工程师专注于实时计算相关大数据技术，目前负责Hudi数据湖在B站的建设和应用。陈世治哔哩哔哩开发工程师负责B站实时湖仓一体架构的建设，专注于Flink与Hudi生态结合的实时数据湖实践与
-
编辑 删除
百亿级数据分表后怎么分页查询？
当业务规模达到一定规模之后，像淘宝日订单量在5000万单以上，美团3000万单以上。数据库面对海量的数据压力，分库分表就是必须进行的操作了。而分库分表之后一些常规的查询可能都会产生问题，常见的就是比如分页查询的问题。一般我们把分表的字段称作shardingkey，比如订单表按照用户ID作为shar
-
编辑 删除
湖仓一体2.0：数据分析的终局之选
下图是一张非常经典的数据分析技术演进图，从中可一窥整体发展历程。本文将按时间顺序盘点下各阶段产品及技术特点，并预测下未来发展方向。1.简单可用阶段：数据库（DataBase）早在1980年代初中期，是没有专门面向数据分析场景的产品。当时还是以面向事务交易场景为主，数据分析仅作为附带提供的场景。主要是
-
编辑 删除
关于数仓建设及数据治理的超全概括
进入主页，点击右上角“设为星标”比别人更快接收好文章本文分为两大节介绍，节是数仓建设，第二节是数据治理，内容较长，还请耐心阅读！在谈数仓之前，先来看下面几个问题：数仓为什么要分层？用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率），因此数据仓库会存在大量冗余的数据；不分层的话，如果源
-
编辑 删除
万字详解数据仓库、数据湖、数据中台和湖仓一体
本文目录：一、前言二、概念解析数据仓库数据湖数据中台三、具体区别数据仓库VS数据湖数据仓库VS数据中台总结四、湖仓一体目前数据存储方案DataLakehouse（湖仓一体）一、前言数字化转型浪潮卷起各种新老概念满天飞，数据湖、数据仓库、数据中台轮番在朋友圈刷屏，有人说“数据中台算个啥，数据湖才是趋势
-
编辑 删除
六千字总结:大数据框架(分区，分桶，分片),建议收藏
前言在大数据分布式中，分区，分桶，分片是设计框架的重点。此篇就来总结各个框架。建议收藏目录Hive分区与分桶ES分片Kafka分区HBase分区Kudu分区HiveHive分区是按照数据表的某列或者某些列分为多区，在hive存储上是hdfs文件，也就是文件夹形式。现在常用的跑T+1数据，按当天时间
-
编辑 删除
哔哩哔哩大数据建设之路—数据开发篇
本期作者韩志华大数据平台工具负责人赵孔明大数据平台资深开发工程师邓晓大数据平台资深开发工程师01平台总体简介1.1数据平台介绍项目代号：Berserker-狂战士平台定位∶基于大数据生态组件的数据采集、传输、存储、查询、开发、分析、挖掘、测试、执行、运维管理的一站式数据开发治理平台，服务于公司内部对
-
编辑 删除
打造云原生大型分布式监控系统
打造云原生大型分布式监控系统笑谈监控系统随着时间的积累，出现故障的风险越来越高，事故的发生总是出人预料，如果采用人力运维的方式，对于故障定位、故障处理都是很大的挑战。故障的时间越长，面临的损失越大，所以在发展到一定程度的团队都需要一套完善的监控系统监控大屏一套完善的监控系统最重要的就是本身永远不可以
-
编辑 删除
数据湖Iceberg技术在小米的落地与场景应用
导读：随着流批一体技术的发展，和对实时查询的需求以及出于成本的优化考虑，小米对数据湖iceberg技术做了一些实践和场景落地。今天介绍的内容主要有以下四个方面：Iceberg技术简介Iceberg在小米的应用实践基于Iceberg的流批一体的探索未来规划分享嘉宾｜李培殿小米软件研发工程师编辑整理｜陈
-
编辑 删除
大数据命令，一文在手，全部都有（送纯净版文档）
前言技术如同手中的水有了生命似的，汇聚在了一起。为了方便大家学习与工作查询资料。现生成大数据命令文档供大家参考。本总结只列举常用的命令，比较多的命令操作。比如linux，kafka命令就比较多，hdfs操作也多。但是对于HBase.....这类框架命令比较少，就不再本篇展示。望周知。其中内容包含以下
-
编辑 删除
干货 | 携程百亿级缓存系统探索之路——本地缓存结构选型与内存压缩
作者简介一十，携程后端开发工程师；振青，携程后端开发专家。一、前言携程酒店查询服务是酒店BU后端的核心服务，主要负责提供所有酒店动态数据计算的统一接口。在处理请求的过程中，需要使用到酒店基础属性信息、价格信息等多维度的数据信息。为了保证服务的响应性能，酒店查询服务对所有在请求过程中需要使用到
-
编辑 删除
听说你们的数据库并发 2 万就跪了？
如果各位看官的SQL数据库真有2W+高并发，那真是要恭喜你。你已经比很多公司的MIS都要前卫得多。2W和2K差别有那么大吗，嗯，真是有的。2K并发的MIS系统也经常有无法访问，timeout的异常，处理这些异常已经够很多朋友苦恼的了。2W+的并发那需要懂的知识框架就更复杂了。笔者曾服务了500W+用
-
编辑 删除
B站大数据质量务实
本期作者郭跃鹏软件工程师01背景数据质量是基于大数据衍生的应用有效与否的重要的前提和保障之一。为了能在大数据上面孵化出更加有深度，更加有竞争力的应用，以及B站高速发展的业务都需要我们数据平台能提供实时的，准确的，可以被信赖的数据。而另一方面，数据平台要向终端用户提供可以信赖的数据，又依赖于整个数据加
