首页 > 数据库 > SQL on Hadoop
hive ORC表数据插入
hive ORC表数据插入 hive order by、sort by、distribute by、cluster by相关区别 reduce数量计算 trafodion访问hive表进行orc表数据加载
hive orc表'orc.create.index'='true'与'orc.create.index'='false'
hive ORC文件存储格式是以列存的方式,在查询表中少数列数据,不必要去查询没条数据的所有字段;但是如果一个列的值全部存储一起,查询一个列的一条数据,会将整个表该列的所有数据都查询出来,如果数据量很大,查询速度依然很慢;然后引入orc.create.index(行组索引),行组索引就能解决以上的问题;概念解释:行组索引:如下图: &nbs
EsgynDB/QianBase如何选择用某一列作为salt键
在EsgynDB、QianBase处理大数据量的表情况下,一般会指定salt建创建表结构,并按照该键值的UEC情况将数据分布在各个节点上; 查询的时候,SQL执行引擎会根据salt的列存储的各种值并发扫描或者定
EsgynDB / trafodion 手动添加多租户功能
在某移动某平台上,存储hbase权限有限,属于一个集群c1,EsgynDB/trafodion属于另外一个集群c2,集群c1作为集群c2的存储引擎,这个环境下,EsgynDB/trafodion添加多租户功能,不能以重新安装EsgynDB/trafodion的方式解决,需要手动添加多租户功能; 
EsgynDB 监控工具OM安装指定多租户
OM是EsgynDB QianBase的一个基于web的图形监控工具及图形数据库操作工具,默认情况下OM安装时不带多租户的,需要设置enableMT为true,然后安装OM,OM界面才带有多租户的功能;1、修改配置文件[root@node3 OM_HAInstalle]# vi om-chart/values.yaml
EsgynDB 查询提示:ERROR[2006] Internal error: assertion failure ...
【问题描述】 在EsgynDB中,查询时提示:*** ERROR[2006] Internal error: assertion failure (result_type) in file ../generator/GenPreCode.cpp at line 10305.SQL>SELECT pro.fid,pro.fcode
EsgynDB通过系统表安装字段顺序获取字段名称
在分布式数据库EsgynDB中,如果我们需要表的字段名称,并按照字段顺序获取,即与建表语句的字段顺序相同,可通过系统表进行查询;object_name:指定表名称,eg:JTK_XXcolumn_name:指定列名称;column_number:指定字段的顺序,按照该字段asc排序即为字段顺序;SELECT &n
EsgynDB更新语句update修改为upsert using load into的情况
分布式数据库更新数据除了传统的update外还可以使用upsert using load into语法修改数据;update:逐行更新,适用单行或极少数行更新场景;upsert using load into:批量更新,适用于更新数据量大的情况,会对表上所有索引进行更新,该语法插入数据到有主键的表中时,会更新原有的数据为当前插入的数据;场景说明以下说明三种update修改为upsert using
JAVA应用程序访问EsgynDB单个大数据量表,返回结果集数据很大的优化
【问题描述】 在某业务场景中,应用程序连接数据库执行查询语句,查询语句的结果集有22万数据,22万的数据通过网络传输到应用端,应用端再处理; EsgynDB默认情况下是单次返回查询结果集的200,22万数据需要传
EsgynDB数据库odb工具常见优化
ODB主要作为数据迁移的一种工具使用,往往大数据量数据迁移时,对性能的要求比较大,该篇文章主要介绍ODB迁移数据时,常见的优化方法1、指定loadcmd=UL迁移时,指定loadcmd使用UL方式,即upsert using load;默认情况下是使用IN方式,即insert方式;insert是单条插入没有并发,UL方式性能更好;2、EsgynDB中表分区根据迁移表的数据量和集群规模,设置表的分区
EsgynDB数据库odb工具常见用法
之前有介绍过ODB工具的基本介绍,该篇文章介绍的是ODB工具的常见用法一、ODB工具语法[root@test01 oracle]# odb64luo -h odb version 1.1.0 Build: linux, amd64, gcc generic m64, uodbc,&nb
EsgynDB数据库odb工具基本介绍
一、基础介绍odb是一款平台无关的,多线程的,基于ODBC的命令行工具;Trafodion数据库使用odb来做以下事情:并行数据加载/抽取、查询驱动、SQL解释器;二、odb安装[root@test01 software]# tar -zxf QianBase_clients-1.6.2-RH7-x86_64.tar.gz [root@test
EsgynDB支持hive表的SNAPPY、GZIP压缩格式
一、创建表hive创建无压缩表data_file和压缩表(SNAPPY、GZIP压缩)data_snappy、data_gziphive> > CREATE TABLE `data_file`( > `gt
EsgynDB query cache
分布式数据库EsgynDB,每个连接服务mxosrvr进程中都有一块local cache,可以保存在mxosrvr中执行过的SQL执行计划的信息;Query cache查看query cache主要涉及两张虚拟表: table(querycache('user','local')):保存了所有cache的que
EsgynDB add_months函数每月最后一天的减运算
2020年10月有31天,2020年11月有30天,当在2020年11月30日做减一个月的运算时,普通数据库,按照11月30日是改月最后一天,减去一个月的值为10月31日,EsgynDB减去一个月不同的写法有不同的结果,更能满足客户不同场景的需求;oracle:SQL> select add_months(date '2020-11-30',-1
EsgynDB SQL语法show
分布式数据库EsgynDB中,每个链接都有一个服务mxosrvr,后台可以通过trafci连接,应用可以使用url串链接;mxosrvr服务在每个节点上都存在,怎么判断我连接的是那个节点的哪一个mxosrvr呢?如果链接为长连接时,时间长了,操作人员在多个schema中切换,怎么知道我在哪一个schema中呢?SQL>show remoteprocess ##
EsgynDB 查询大表提示:the access path chosen might not be the best possible
【问题描述】 在EsgynDB中,当有时候对大表进行查询操作时提示如下信息:*** WARNING[6008] Statistics for column (ID) from table TRAFODION.SEABASE.UIRB_DATA_VERSION&nbs
EsgynDB 序列支持的最大值
分布式数据库EsgynDB,序列可支持以下三种数据类型,当不知道数据类型的时候默认是LARGEINT SMALLINT UNSIGNED -> 最大值2^16-1INTEGER UNSIGHED -> 最大值2^32-1LARGEINT -> 最大值2^63-2SQL> CREATE SEQUENCE&n
EsgynDB ODBC配置
一、安装unixODBC[root@test01 ~]# yum install unixODBC -y [root@test01 ~]# ll /etc/odbc* ## 看是否有文件odbc.ini,odbcinst.ini -rw-r--r-- 1&nbs
EsgynDB单节点连接数超过200设置
分布式数据库集群EsgynDB,默认情况下单节点有最大200连接限制,如果应用场景需要单个节点连接数超过200,设置如下;修改mxosrvr相关的配置文件dcs-site.xml[trafodion@test02 ~]$ cdc [trafodion@test02 conf]$ cd dcs/ [trafodion@test02 dc