ITPub博客

1、下载安装包，并上传服务器2、创建安装目录，并解压安装包[root@node2 ~]# mkdir /usr/local/hbase [root@node2 ~]# tat -zxf hbase-1.2.0-cdh5.16.2-arm64.tar.gz -C /usr/local/hbase3、修改配置文

1、下载安装包，并上传服务器2、创建安装目录，并解压安装包[root@node2 ~]# mkdir /usr/local/hadoop [root@node2 ~]# tar -zxf hadoop-3.1.1-arm64.tar.gz -C /usr/local/hadoop3、修改配置文件[root@

1、下载安装包，上传导服务器2、创建安装目录，并解压[root@node2 ~]# mkdir /usr/local/zookeeper [root@node2 ~]# tar -zxf zookeeper-3.5.5-arm64.tar.gz -C /usr/local/zookeeper/3、修改配置参

        在之前的博客介绍了不同方式将textfile的hive表数据加载到orc表中，本篇介绍不同数据加载方式，对trafodion访问orc表的性能影响；        hive orc表数据加载：http://blog.itpu

hive客户端数据加载的时候，hdfs底层有多少个数据文件和reduce个数有关 set mapred.reduce.tasks = -1

hive ORC表数据插入 hive order by、sort by、distribute by、cluster by相关区别 reduce数量计算 trafodion访问hive表进行orc表数据加载

hive ORC文件存储格式是以列存的方式，在查询表中少数列数据，不必要去查询没条数据的所有字段；但是如果一个列的值全部存储一起，查询一个列的一条数据，会将整个表该列的所有数据都查询出来，如果数据量很大，查询速度依然很慢；然后引入orc.create.index(行组索引)，行组索引就能解决以上的问题；概念解释：行组索引：如下图：     &nbs

EsgynDB之Bulkload详解

EsgynDB加载出现Trying to load more than 32 hfiles to one family of one region问题解决

        在EsgynDB、QianBase处理大数据量的表情况下，一般会指定salt建创建表结构，并按照该键值的UEC情况将数据分布在各个节点上；        查询的时候，SQL执行引擎会根据salt的列存储的各种值并发扫描或者定

        在某移动某平台上，存储hbase权限有限，属于一个集群c1，EsgynDB/trafodion属于另外一个集群c2，集群c1作为集群c2的存储引擎，这个环境下，EsgynDB/trafodion添加多租户功能，不能以重新安装EsgynDB/trafodion的方式解决，需要手动添加多租户功能；&nbsp

    OM是EsgynDB QianBase的一个基于web的图形监控工具及图形数据库操作工具，默认情况下OM安装时不带多租户的，需要设置enableMT为true，然后安装OM，OM界面才带有多租户的功能；1、修改配置文件[root@node3 OM_HAInstalle]# vi om-chart/values.yaml

【问题描述】        ARM麒麟环境中，在ambari安装HDP，在Install, Start and Test步骤时提示：OSError: [Errno 1] Operation not permitted: '/boot/efi/hadoop/hdfs/namenode'stderr:  /usr/lib/ambari

【问题描述】        在EsgynDB中，查询时提示：*** ERROR[2006] Internal error: assertion failure (result_type) in file ../generator/GenPreCode.cpp at line 10305.SQL>SELECT pro.fid,pro.fcode

在分布式数据库EsgynDB中，如果我们需要表的字段名称，并按照字段顺序获取，即与建表语句的字段顺序相同，可通过系统表进行查询；object_name：指定表名称，eg：JTK_XXcolumn_name：指定列名称；column_number：指定字段的顺序，按照该字段asc排序即为字段顺序；SELECT        &n

分布式数据库更新数据除了传统的update外还可以使用upsert using load into语法修改数据；update：逐行更新，适用单行或极少数行更新场景；upsert using load into：批量更新，适用于更新数据量大的情况，会对表上所有索引进行更新，该语法插入数据到有主键的表中时，会更新原有的数据为当前插入的数据；场景说明以下说明三种update修改为upsert using

【问题描述】        在某业务场景中，应用程序连接数据库执行查询语句，查询语句的结果集有22万数据，22万的数据通过网络传输到应用端，应用端再处理；        EsgynDB默认情况下是单次返回查询结果集的200，22万数据需要传

ODB主要作为数据迁移的一种工具使用，往往大数据量数据迁移时，对性能的要求比较大，该篇文章主要介绍ODB迁移数据时，常见的优化方法1、指定loadcmd=UL迁移时，指定loadcmd使用UL方式，即upsert using load；默认情况下是使用IN方式，即insert方式；insert是单条插入没有并发，UL方式性能更好；2、EsgynDB中表分区根据迁移表的数据量和集群规模，设置表的分区

之前有介绍过ODB工具的基本介绍，该篇文章介绍的是ODB工具的常见用法一、ODB工具语法[root@test01 oracle]# odb64luo -h odb version 1.1.0 Build: linux, amd64, gcc generic m64, uodbc,&nb

【问题描述】        HIVE插入数据提示：Ended Job = job_1608515060939_0010 with errorshive> create table test_t1(a int,b varchar(20)); OK Time taken: 2.107