ITPub博客

首页 > 数据治理 > 数据治理 > XSKY ClickHouse如何实现存算分离

XSKY ClickHouse如何实现存算分离

原创 数据治理 作者:XSKY融合存储 时间:2020-09-08 16:57:40 0 删除 编辑

XSKY ClickHouse如何实现存算分离

在介绍ClickHouse之前,说一下OLAP。OLAP也叫联机分析处理(Online Analytical Processing)。OLAP系统以维度模型来存储历史数据,其主要存储描述性的数据并且在结构上都是同质的。


01ClickHouse


OLAP应用有如下特点:

1、大多数的请求是读请求;

2、每次查询都从数据库中读取大量的行,但是同时又仅需要少量的列;

3、宽表,即每个表包含着大量的列;

4、处理单个查询时需要高吞吐量(每个服务器每秒高达数十亿行);

5、每一个查询除了一个大表外都很小;

6、查询结果明显小于源数据,换句话说,数据被过滤或聚合后能够被盛放在单台服务器的内存中。


OLAP引擎的痛点:

  • SparkSQL & Hive性能不够快;
  • Impala对内存要求高,需要依赖Hadoop生态软件和基础。


综上,市面上的OLAP引擎不够理想,这时,ClickHouse来了。ClickHouse由俄罗斯yandex公司开发,专为在线数据分析而设计,能够使用SQL查询生成实时数据报告,在2016年开源。

首先,也是ClickHouse最突出的优点:“快”。ClickHouse官方测试对比, 1亿的数据集测试中,ClickHouse的性能,比Hive快 259倍,比MySQL快 801倍



ClickHouse vs Vertica vs Greeplum

其次,ClickHouse足够轻量,不依赖Hadoop生态。除了解决上述的问题,ClickHouse还有如下优点:



1、列式存储+数据压缩;

2、并行和分布式查询;

3、支持SQL;

4、实时数据更新。



02存储需求

ClickHouse作为OLAP的新宠备受关注,国内大厂也纷纷跟进大规模使用。那么ClickHouse对存储有什么需求?

ClickHouse早期并没有走Hadoop生态,而是采用Local attached storage(本地存储)的存储方式,其可靠性通过原生支持shard + replication来保障。也可以通过RAID 5方式,来提高磁盘数据的可靠性和读取能力。

但ClickHouse存储毕竟不是专业存储,面临着以下几个问题:



1、在ClickHouse众多的表引擎中,又属合并树(MergeTree)表引擎及其家族系列(*MergeTree)最为强大,在生产环境绝大部分场景中都应该使用此系列的表引擎。ReplicatedMergeTree实现了ClickHouse的replication特性,需要依赖ZooKeeper实现分布式系统的协作,当并发写入量较大时,ZooKeeper对表元数据同步有延迟,会成为集群的瓶颈,降低集群整体性能;

2、当数据写入ClickHouse某个节点异常,导致副本间的数据不一致;

3、难扩容,难维护。


针对上述问题,XSKY为用户的ClickHouse需求打造了高可用的软件定义存储解决方案:

  • 本身高可用的存储,去中心化设计,不会出现单个瓶颈的情况;
  • 强一致性存储系统,保证数据一致性;
  • 支持无限制横向扩展,使存储性能与容量同步线性增长,同时配合图形化的管理界面,解决运维问题。



03ClickHouse on S3

上面提到了MergerTree,这里说一下MergeTree在ClickHouse存储方式。默认情况下ClickHouse的数据存储在/var/lib/clickhouse/data目录下:



说明:

1、default:数据库名;

2、hdfs_engine_table:表名;

3、2a1dedbe81258ce26f3c450185e5550811_0:其中的一个part,每次插入数据就会生成一个part,part会不定时的merge成更大的一个part,每个part里的数据都是按照主键排序存储;

4、checksums.txt:校验值文件;

5、columns.txt:列名文件,记录了表中的所有列名;

6、x.bin:每一列的真实数据;

7、x.mrk2:每一列的mrk文件;

8、primary.idx:主键文件,存储了主键值。

早在去年的时候,ClickHouse社区就进了一个PR: github.com/ClickHouse/C ,关于支持S3&HDFS 的计划,并在之后陆续合入了DiskS3,终于在ClickHouse v20.4.2.9版本正式合入PR:  github.com/ClickHouse/C ,MergeTree全面支持S3。

那么,怎么让ClickHouse的数据存储在S3上?仅需如下两个步骤即可:

一、创建存储配置

在/etc/clickhouse-server/config.d目录下创建配置文件并添加如下配置:



说明:

1、YOUR_ENDPOINT:对象存储的endpoint,如:10.0.x.x:8060;

2、BUCKET_NAME:桶名;

3、OBJECT_PREFIX:对象名前缀;

4、AK:对象用户的访问密钥;

5、SK:对象用户的秘密密钥。

二、创建MergeTree表

在创建表时设置上一步骤中创建的存储策略SETTINGS storage_policy = 's3'即可。



经过上述两个步骤就可以进行插入删除操作。

我们先来看看s3_table是怎么存储到对象存储上的?

如下,这么看跟普通的MergeTree没有区别?



其实真实的数据已经存储在对象存储上,比如:1_2_2_0/count.txt文件中记录着真正的位置。



可通过S3 Browser查看到指定目录下已存了真实数据。





04应用测试

如上讲述了如何使用对象存储存储ClickHouse的数据,下面就做一个简单的测试。这里使用航班飞行的真实数据。

说明:该ClickHouse环境为虚机测试环境, 16G的内存, 4核CPU,不能体现出性能,仅做功能测试。

1、通过如下命令下载2017年的飞行数据:



2、创建ontime数据库:



3、将下载好的数据导入到ClickHouse:



4、进行数据查询:

  • 查看导入的数据量:




  • 查询2017最受欢迎的目的地:




  • 查询最受欢迎的出发城市:






05总结

近年来ClickHouse发展迅猛,除了其丰富的功能,优秀的性能,还有就是在当下不可忽视的数据量增长。XSKY对象存储可为企业提供全面的云存储安全服务,其可扩展的性能、先进的数据存储和管理功能,更重要的是能够实现ClickHouse的存算分离,让应用更加专注于应用。


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/69978858/viewspace-2718043/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2020-07-10

  • 博文量
    13
  • 访问量
    4118