arm麒麟环境安装hbase
1、下载安装包,并上传服务器2、创建安装目录,并解压安装包[root@node2 ~]# mkdir /usr/local/hbase [root@node2 ~]# tat -zxf hbase-1.2.0-cdh5.16.2-arm64.tar.gz -C /usr/local/hbase3、修改配置文
arm麒麟环境安装hadoop
1、下载安装包,并上传服务器2、创建安装目录,并解压安装包[root@node2 ~]# mkdir /usr/local/hadoop [root@node2 ~]# tar -zxf hadoop-3.1.1-arm64.tar.gz -C /usr/local/hadoop3、修改配置文件[root@
arm麒麟环境安装zookeeper
1、下载安装包,上传导服务器2、创建安装目录,并解压[root@node2 ~]# mkdir /usr/local/zookeeper [root@node2 ~]# tar -zxf zookeeper-3.5.5-arm64.tar.gz -C /usr/local/zookeeper/3、修改配置参
trafodion访问hive orc 行组索引性能情况
在之前的博客介绍了不同方式将textfile的hive表数据加载到orc表中,本篇介绍不同数据加载方式,对trafodion访问orc表的性能影响; hive orc表数据加载:http://blog.itpu
hive reduce数量计算
hive客户端数据加载的时候,hdfs底层有多少个数据文件和reduce个数有关 set mapred.reduce.tasks = -1
hive ORC表数据插入
hive ORC表数据插入 hive order by、sort by、distribute by、cluster by相关区别 reduce数量计算 trafodion访问hive表进行orc表数据加载
hive orc表'orc.create.index'='true'与'orc.create.index'='false'
hive ORC文件存储格式是以列存的方式,在查询表中少数列数据,不必要去查询没条数据的所有字段;但是如果一个列的值全部存储一起,查询一个列的一条数据,会将整个表该列的所有数据都查询出来,如果数据量很大,查询速度依然很慢;然后引入orc.create.index(行组索引),行组索引就能解决以上的问题;概念解释:行组索引:如下图: &nbs
EsgynDB之Bulkload
EsgynDB之Bulkload详解
热点数据加载出现Trying to load more than 32 hfiles to one family of one region
EsgynDB加载出现Trying to load more than 32 hfiles to one family of one region问题解决
EsgynDB/QianBase如何选择用某一列作为salt键
在EsgynDB、QianBase处理大数据量的表情况下,一般会指定salt建创建表结构,并按照该键值的UEC情况将数据分布在各个节点上; 查询的时候,SQL执行引擎会根据salt的列存储的各种值并发扫描或者定
EsgynDB / trafodion 手动添加多租户功能
在某移动某平台上,存储hbase权限有限,属于一个集群c1,EsgynDB/trafodion属于另外一个集群c2,集群c1作为集群c2的存储引擎,这个环境下,EsgynDB/trafodion添加多租户功能,不能以重新安装EsgynDB/trafodion的方式解决,需要手动添加多租户功能; 
EsgynDB 监控工具OM安装指定多租户
OM是EsgynDB QianBase的一个基于web的图形监控工具及图形数据库操作工具,默认情况下OM安装时不带多租户的,需要设置enableMT为true,然后安装OM,OM界面才带有多租户的功能;1、修改配置文件[root@node3 OM_HAInstalle]# vi om-chart/values.yaml
HDP安装提示:Operation not permitted: '/boot/efi/hadoop/hdfs/namenode'
【问题描述】 ARM麒麟环境中,在ambari安装HDP,在Install, Start and Test步骤时提示:OSError: [Errno 1] Operation not permitted: '/boot/efi/hadoop/hdfs/namenode'stderr: /usr/lib/ambari
EsgynDB 查询提示:ERROR[2006] Internal error: assertion failure ...
【问题描述】 在EsgynDB中,查询时提示:*** ERROR[2006] Internal error: assertion failure (result_type) in file ../generator/GenPreCode.cpp at line 10305.SQL>SELECT pro.fid,pro.fcode
EsgynDB通过系统表安装字段顺序获取字段名称
在分布式数据库EsgynDB中,如果我们需要表的字段名称,并按照字段顺序获取,即与建表语句的字段顺序相同,可通过系统表进行查询;object_name:指定表名称,eg:JTK_XXcolumn_name:指定列名称;column_number:指定字段的顺序,按照该字段asc排序即为字段顺序;SELECT &n
EsgynDB更新语句update修改为upsert using load into的情况
分布式数据库更新数据除了传统的update外还可以使用upsert using load into语法修改数据;update:逐行更新,适用单行或极少数行更新场景;upsert using load into:批量更新,适用于更新数据量大的情况,会对表上所有索引进行更新,该语法插入数据到有主键的表中时,会更新原有的数据为当前插入的数据;场景说明以下说明三种update修改为upsert using
JAVA应用程序访问EsgynDB单个大数据量表,返回结果集数据很大的优化
【问题描述】 在某业务场景中,应用程序连接数据库执行查询语句,查询语句的结果集有22万数据,22万的数据通过网络传输到应用端,应用端再处理; EsgynDB默认情况下是单次返回查询结果集的200,22万数据需要传
EsgynDB数据库odb工具常见优化
ODB主要作为数据迁移的一种工具使用,往往大数据量数据迁移时,对性能的要求比较大,该篇文章主要介绍ODB迁移数据时,常见的优化方法1、指定loadcmd=UL迁移时,指定loadcmd使用UL方式,即upsert using load;默认情况下是使用IN方式,即insert方式;insert是单条插入没有并发,UL方式性能更好;2、EsgynDB中表分区根据迁移表的数据量和集群规模,设置表的分区
EsgynDB数据库odb工具常见用法
之前有介绍过ODB工具的基本介绍,该篇文章介绍的是ODB工具的常见用法一、ODB工具语法[root@test01 oracle]# odb64luo -h odb version 1.1.0 Build: linux, amd64, gcc generic m64, uodbc,&nb
hive表插入数据提示:Ended Job = job_1608515060939_0010 with errors
【问题描述】 HIVE插入数据提示:Ended Job = job_1608515060939_0010 with errorshive> create table test_t1(a int,b varchar(20)); OK Time taken: 2.107