ITPub博客

首页 > 大数据 > 数据挖掘 > 1分钟解密:博睿大数据核心引擎Bonree Zeus六大优势

1分钟解密:博睿大数据核心引擎Bonree Zeus六大优势

数据挖掘 作者:CaraSun 时间:2020-12-10 17:48:26 0 删除 编辑

随着信息技术的飞速发展,企业纷纷开始将线下业务转移至线上,这使得数字化转型成为企业生存竞争的关键。而伴随数据的爆炸式增长,企业正在面对海量数据的存储和查询双重挑战,传统的关系型数据库(如MySQL)已经成为过去时,在面对大数据需求时往往会力不从心。

如同手握冷兵器的骑士在枪林弹雨中冲锋一般,在大数据时代,使用低效率的关系型数据库已经过时,不能匹配快速增长的数据需要。

图片
“以卵击石,臣妾做不到啊! ”


众所周 知,企业 在产品实践中都会面临联机分析处理OLAP(Online Analytical Processing)的应用场景,而OLAP的数据写多更新少,其中存在大量时序数据,需要更低的查询响应时间和更高的并发多维度查询进 程 。

时至今日,企业如果想要提升工作效率和业务能力,除了需要好员工,更需要与之相匹配的系统, 一个好的“帮手”无疑是提升企业工作效率和工作质量的“利器”。


博睿数据(股票代码:688229)通过长期技术调研和深厚企业级数据经验积淀, 自主研发了Bonree Zeus系统 。 Bonree Zeus是基于Apache Druid二次开发的分布式实时分析数据库,支持PB级数据存储,亚秒级高并发查询,并支持结构化数据和日志数据存储,拥有预聚合、高压缩比等特性。 Bonree Zeus系统为博睿数据众多产品提供了稳定可靠的数据仓库支撑。


Bonree Zeus 六大优势

 01.高速且高效
Bonree Zeus使用位图索引,高效支持快速过滤和多列搜索,能够迅速过滤出客户想要的数据,并为即席查询(Ad Hoc)提供了高效的索引。
其提供了近似计算能力,面对高基数数据,能够在精度相对不高的情况下,用有限的内存和时间,快速获取排名、基数、直方图和分位值。
同时,其在存储上可以按时间分区,根据时间查找时序数据的效率大大提升。
Bonree Zeus 支持多时间粒度预聚合,面对大时间跨度的历史数据查询,客户能够切身感受到“飞一般的感觉”。
基于列式存储, Bonree Zeus 查询时可以只加载需要的列,而实际大部分查询语句也只涉及部分列的查询,所以这种独特的列式存储思路极大提升了查询速度,使得大多数查询可以在1秒内完成。
值得一提的是, Bonree Zeus 还可以发挥集群并行计算能力,使得数据入库和查询可以在多个节点上并行处理。

02.自动化

DPL(Data Processing Language)是博睿数据所致力于开发的一种类SPL(Searching Processing Language)查询语言。其包含了丰富的命令、函数、参数和从句,来完成多样的数据查询,让用户不需要编程就能达到数据分析的效果。
这一语言同时支持join外部数据源联查,如Zeus数据和mysql联查,这极大降低了开发者的工作量。要知道,过去遇到这样的场景,程序员可是需要自行手工实现join过程的。


03.为日志查询赋能

Bonree Zeus支持日志数据的存储和简单的全文检索,并集成了结构化数据和非结构化数据存储的特性。过去,在日志场景中,很多客户都需要额外用ES(Elastic Search)来进行检索,现在,Bonree Zeus则提供了另外一种更加简便高效的选择。


04.节省存储空间
Bonree Zeus在数据入库的同时可以进行实时预聚合,摒弃那些企业用不到的时间精度,并进而将多条数据存为一条。这一方法,显著提升了存储效率并降低了由此带来的性能开销。

基于列式存储的Bonree Zeus,能够对不同类型的数据列采用不同针对性的压缩算法,例如字典编码、位图压缩和类型感知压缩,这使得双副本条件下数据压缩比可达7:2。


05.高并发兼具高吞吐量
Bonree Zeus提供了百万级records每秒的入库速度,并同时支持高并发查询支持,保证数据一致性。

06.高可靠,高弹性
一旦Bonree Zeus把数据入库,数据的副本就会存储至深度存储中(支持云存储、HDFS或者共享文件系统)。即使单台数据节点宕机,其仍可以从深度存储中恢复数据。Bonree Zeus所采用的的这一副本机制,同时保证了数据恢复时不会影响查询结果和查询性能。


除此之外,Bonree Zeus所有的节点都支持水平扩展。当系统容量和资源不够时,这一水平扩展模式就可以派上用场。


Bonree Zeus 应用场景: 站在用户的角度去思考

Bonree Zeus已经在博睿数据的客户群体中进行了长期和广泛的应用。在博睿数据产品中,Bonree Zeus常见的使用方式如图所示:


图片


这一方法可以从大量的应用服务、中间件服务、手机App、Web页面(含各种终端)、小程序和IT基础设施中采集海量数据,并经过预处理和清洗之后写入消息队列,Bonree Zeus可以在实时节点自动消费消息队列完成数据写入,并将数据最终存储到Bonree Zeus的历史节点。

与此同时,报表展示平台、告警服务、数据挖掘和AIOps都能够从Bonree Zeus查询到各自需要的数据,AIOps会将模型训练数据以及预测结果写回Bonree Zeus实时节点,从而形成数据闭环。

利用这一闭环, Bonree  Zeus实现了典型的五类应用场景:



· 应用性能管理APM
(Application Performance Management)
APM主要是对服务器的各种性能指标数据和少量日志数据进行应用。

· IT基础设施管理ITIM 
(IT Infrastructure Management)
ITIM工具捕获IT硬件设备、软件和网络设备的各种资源利用指标和网络统计指标。

· 数字化体验管理DEM
(Digital Experience Management)
相对APM,DEM更加侧重于用户端性能数据的调取,其中包含指标数据、日志数据。

· 网络性能管理NPM
(Network Performance Management)
NPM侧重于网络本身以及网络中的固定服务的可用性,其应用的主要形式也是指标数据。

· 数据挖掘和AIOps
(Artificial intelligence for IT Operations)

面对海量数据,Bonree Zeus提供的高并发低延时的查询和高吞吐量的入库特性,为数据挖掘和AIOps提供了实时可靠的数据原料和数据仓库。
经过10余年行业深耕,博睿数据如今已经在数据采集、数据处理、数据存储、数据分析等核心环节具有较强的竞争力,能够满足国内企业不断变化升级的市场需求 。
面对新形势下的挑战,博睿数据正在积极拥抱新技术变革的浪潮。Bonree Zeus基于自研的 PB 量级数据列式压缩存储及响应式分析技术,正在帮助越来越多企业,对业务产生的海量数据进行落盘存储和快速查询分析。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69948960/viewspace-2741203/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2019-09-20

  • 博文量
    49
  • 访问量
    27949