如何构建智能监控预警管理平台?
面对不同的数据需求,分析的粒度也各不相同,那么怎样更加高效地完成分析,而不是做重复的工作。那就需要数据平台的细粒度、强实时性、高效能。
如何为用户画像,高效获取有效信息?
随着信息的指数级增长,如何高效获取有效信息成为大众关注点。搜索和推荐是两种重要且互为补充的主动/被动信息获取方式。
BI系统质量挑战与建设
BI(Business Intelligence)即商务智能,它是一套完整的解决方案,用来帮助企业更好地利用数据提高决策质量的技术集合,是从大量的数据中钻取信息与价值的过程。BI系统质量至关重要,可以说没有质量保障的BI数据还不如没有BI数据。
数据大屏可视化挑战
伴随着大数据时代的到来,数据大屏可视化展示技术成为一个热门的话题,引起了人们极大的关注。但是,关于数据大屏可视化展示,你知道多少?大屏可视化系统的发展未来如何?我们本文梳理了大数据可视化技术现状以及发展方向,以及实时数仓发挥的关键能力。
开源OLAP引擎选型
在做数据分析之前,少不了要和各种开源引擎打交道,那么,不同引擎之间是什么关系,实时数仓是如何一步步跨越技术障碍,推动企业业务走向现代化数据架构的。在引擎选型之前,我们先看下OLAP与OLTP的区别。OLAP与OLTP的区别OLTP(OnlineTransactionProcessing联机事务处理),是传统关系型数据库的应用技术,提供日常的、基本的事务处理,比如在线交易之类。OLAP(Online
实时计算框架特点及对比:Flink、Spark Streaming、Storm
随着互联网和大数据技术的发展,实时计算框架也在推陈出新,向着高吞吐、高可用、低延迟准实时的方向发展。具体而言,主流的计算引擎不外乎三个:Flink、Spark Streaming、Storm。
实时数仓、湖仓一体、流批一体,它们都在说什么
对于一些时效性比较强的行业, 传统的数据仓库可以解决财务分析的难题, 但是不能对全流程进行实时监控,比如外卖平台, 需要准确知道目前的订单进行到了哪一步?目前整个路程中的瓶颈在什么地方?
从离线仓到实时仓的变革
实时数仓,并不是一个新概念,它是数据架构不断变化和演进的结果。如果一定要追溯实时数仓的发展历程,应该从OLTP和OLAP的分道扬镳开始。数据仓库的发展史数据仓库的概念是于 90 年代,由 Bill Inmon 提出。当时的背景是,传统的 OLTP 数据库无法很好的支持长周期分析决策场景。所以,今天实时数据仓库概念与传统离线数仓有有哪些却别,我们要结合着 OLTP 数据库当时的状态来对比理解。我们所
Apache DolphinScheduler 3.1.3 版本发布,修复 Hive 数据源连接泄漏
Apache DolphinScheduler 发布了 3.1.3 版本。此版本主要基于 3.1.2 版本进行了 bug 修复,共计修复 23 个 bug,并更新 1 个文档修复。
现在的湖仓一体像是个伪命题?
数据湖和数据仓库一直以来都有十分密切的联系但同时存在显著的差异。数据湖更注重原始信息的保留,将原始数据“原汁原味”地保存下来是数据湖的首要目标。
ClickHouse为什么查询速度快?
ClickHouse速度快的秘诀在于——利用存储引擎的特殊设计充分减少磁盘I/O对查询速度的影响。
一周云事|新年新气象,云计算企业翻开崭新的一页
艰难的2022年终于熬了过去,受疫情影响,宏观经济不景气,这一年,云计算企业的日子着实不好过。
一个理想的数据湖应具备哪些功能?
从数据库到数据仓库,最后到数据湖,随着数据量和数据源的增加,数据格局正在迅速变化。
【2022开发者专场】从Amazon Redshift实战沙龙看云数仓未来发展趋势
大数据时代,企业对数据带来的业务价值有哪些期待?如果你参加了Amazon Redshift实战沙龙,一定会有更深刻的感悟!
腾讯云DLC(数据湖计算)重磅支持Apache Hudi
腾讯云数据湖计算 DLC(Data Lake Compute,DLC)提供了敏捷高效的数据湖分析与计算服务。该服务采用无服务器架构(Serverless)设计,用户无需关注底层架构或维护计算资源,使用标准 SQL 即可完成对象存储服务(COS)及其他云端数据设施的联合分析计算。
一周云事|云计算市场迎来由“定”到“进”的转变
阿里云高层调整,无疑成本本周云计算领域的一大重磅消息。在阿里巴巴集团董事会主席兼CEO张勇的全员邮件中,其中一句话不只代表阿里云,更具整个云计算领域的时代特征。在张勇看来,2022年的关键字是“定”,而2023年是“进”,更需要对客户的敬畏之心。
阿里云高层大调整,张勇亲自挂帅
2022年真是不平凡的一年,这一点体现在阿里云频繁的高层调整上。继2022年4月,爆出阿里云中国区总裁任庚离职后,12月份再次迎来人事“大地震”。
2022年度IT168技术卓越奖名单:办公类
每年岁末年终都是盘点季,2022年办公领域发生哪些重要事件?谁在推动企业办公的发展?办公设备带来了哪些翻天覆地的变化?让我们一起对2022年进行回顾和总结,同时展望即将到来的2023年。
2022年度IT168技术卓越奖名单:云计算类
时间过得真快,一眨眼又到了岁末年初。虽然,这一年里,大部分时间都在“抗疫”,但云计算市场的动作并不少!接下来,让我们一起梳理下云计算领域有哪些值得关注的热点事件!
数据湖是下一代数据仓库?
数据湖正在成为一种越来越流行的大数据解决方案,而数据湖这个词已经被大数据供应商赋予了太多不同的含义,如果有什么工作是传统数据仓库做不了的,那就把它塞进数据湖,以至于数据湖已经变成了一个定义模糊的概念。