准备自建大数据平台了,有哪些开源组件推荐?
当前针对大数据平台/数据中台并没有完整的可用的开源产品。这里说的开源软件,更多的是数据中台依赖的一些开源组件。
直播预约丨《袋鼠云大数据实操指南》No.4:数据服务API实战解读,助力企业数字化跃迁
近年来,新质生产力、数据要素及数据资产入表等新兴概念犹如一股强劲的浪潮,持续冲击并革新着企业数字化转型的观念视野,昭示着一个以数据为核心驱动力的新时代正稳步启幕。面对这些引领经济转型的新兴概念,为了更好地服务于客户并提供切实可行的实践指导,自3月20日起,袋鼠云将推出全新《袋鼠云大数据实操指南》系列直播。该系列兼顾理论讲解与实战演练,内容覆盖从数据采集、开发治理、资产梳理、服务应用到深度分析与洞察
B站一站式大数据集群管理平台(BMR)初窥
大数据服务是数据平台建设的基座,随着B站业务的快速发展,其大数据的规模和复杂度也突飞猛进,技术的追求也同样不会有止境。B站一站式大数据集群管理平台(BMR),在千呼万唤中孕育而生。本文简单介绍BMR的由来、面临的主要矛盾以及如何在变化中求得生存与发展。
TDC 5.0:多集群统一纳管,构建一体化大数据云平台
近期,星环科技数据云平台Transwarp Data Cloud(简称TDC)5.0版本正式发布,TDC5.0架构屏蔽底层多个TDH集群的差异,采用统一操作模式,新增一个多集群抽象与管理层,能够实现多集群网络互通、跨集群资源调度。TDC 是基于云原生技术的数据云平台,星环科技对它的调度、存储、网络全部进行了优化,使用星环科技自己的调度系统、本地存储系统、虚拟网络;操作系统上一层是多集群管理;第三层
亚马逊云科技Amazon Redshift助力电商平台构建大数据基座
在亚马逊云科技中国峰会2024上,林益龙解决方案架构师介绍了”AI驱动的Redshift扩缩和优化”。
企业大数据分析用什么数据仓库好?
大数据时代,企业数据分析已经成为推动业务决策、优化运营和创造价值的关键因素。在这个过程中,数据仓库的选择显得尤为重要。一个合适的数据仓库不仅可以满足企业数据存储、管理和分析的需求,还能显著提升数据处理效率,为业务决策提供有力支持。
大数据平台也“云化”?这份改造指南收藏了!
6月19-20日,由中国通信标准化协会主办,中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)承办的首届“数据智能大会”隆重召开。会议期间,天翼云科技有限公司携手中国信息通信研究院云计算与大数据研究所共同发布《大数据平台云化改造实践指南(2024年)》
大数据领域架构设计全面解析
大数据是针对海量数据进行分布式采集、分布式存储、分布式计算、分布式管理、分布式统计分析使数据变现与战略决策、产生价值的一门技术。在信息科技领域,大数据通常与提取这些数据中有价值信息的技术和相关联工具。
揭秘Kafka:大数据和流计算领域的高可用利器
Kafka凭借其高可用、高效和可伸缩的特性,成为了大数据和流计算领域的明星组件。它的分区和副本机制确保了系统的高可用性和容错能力,而批处理和异步处理的设计则使其在高吞吐量场景中表现出色。
高效处理大数据:Kafka的13个核心概念详解
Broker是Kafka的核心组件,负责连接生产者和消费者。一个Broker可以处理数千个分区以及每秒百万级的消息量。