ITPub博客

首页 > 数据库 > SQL on Hadoop

关于 “SQL on Hadoop” 的内容如下:

  • hive ORC表数据插入

    hive ORC表数据插入 hive order by、sort by、distribute by、cluster by相关区别 reduce数量计算 trafodion访问hive表进行orc表数据加载

    joshliu SQL on Hadoop 2654 2021-02-23 16:57
  • hive orc表'orc.create.index'='true'与'orc.create.index'='false'

    hive ORC文件存储格式是以列存的方式,在查询表中少数列数据,不必要去查询没条数据的所有字段;但是如果一个列的值全部存储一起,查询一个列的一条数据,会将整个表该列的所有数据都查询出来,如果数据量很大,查询速度依然很慢;然后引入orc.create.index(行组索引),行组索引就能解决以上的问题;概念解释:行组索引:如下图:     &nbs

    joshliu SQL on Hadoop 1524 2021-02-23 16:15
  • EsgynDB/QianBase如何选择用某一列作为salt键

            在EsgynDB、QianBase处理大数据量的表情况下,一般会指定salt建创建表结构,并按照该键值的UEC情况将数据分布在各个节点上;        查询的时候,SQL执行引擎会根据salt的列存储的各种值并发扫描或者定

    joshliu SQL on Hadoop 666 2021-02-09 17:41
  • EsgynDB / trafodion 手动添加多租户功能

            在某移动某平台上,存储hbase权限有限,属于一个集群c1,EsgynDB/trafodion属于另外一个集群c2,集群c1作为集群c2的存储引擎,这个环境下,EsgynDB/trafodion添加多租户功能,不能以重新安装EsgynDB/trafodion的方式解决,需要手动添加多租户功能;&nbsp

    joshliu SQL on Hadoop 749 2021-02-03 10:17
  • EsgynDB 监控工具OM安装指定多租户

        OM是EsgynDB QianBase的一个基于web的图形监控工具及图形数据库操作工具,默认情况下OM安装时不带多租户的,需要设置enableMT为true,然后安装OM,OM界面才带有多租户的功能;1、修改配置文件[root@node3 OM_HAInstalle]# vi om-chart/values.yaml

    joshliu SQL on Hadoop 658 2021-02-03 10:03
  • EsgynDB 查询提示:ERROR[2006] Internal error: assertion failure ...

    【问题描述】        在EsgynDB中,查询时提示:*** ERROR[2006] Internal error: assertion failure (result_type) in file ../generator/GenPreCode.cpp at line 10305.SQL>SELECT pro.fid,pro.fcode

    joshliu SQL on Hadoop 706 2021-01-07 10:02
  • EsgynDB通过系统表安装字段顺序获取字段名称

    在分布式数据库EsgynDB中,如果我们需要表的字段名称,并按照字段顺序获取,即与建表语句的字段顺序相同,可通过系统表进行查询;object_name:指定表名称,eg:JTK_XXcolumn_name:指定列名称;column_number:指定字段的顺序,按照该字段asc排序即为字段顺序;SELECT        &n

    joshliu SQL on Hadoop 547 2020-12-30 14:27
  • EsgynDB更新语句update修改为upsert using load into的情况

    分布式数据库更新数据除了传统的update外还可以使用upsert using load into语法修改数据;update:逐行更新,适用单行或极少数行更新场景;upsert using load into:批量更新,适用于更新数据量大的情况,会对表上所有索引进行更新,该语法插入数据到有主键的表中时,会更新原有的数据为当前插入的数据;场景说明以下说明三种update修改为upsert using

    joshliu SQL on Hadoop 820 2020-12-30 13:46
  • JAVA应用程序访问EsgynDB单个大数据量表,返回结果集数据很大的优化

    【问题描述】        在某业务场景中,应用程序连接数据库执行查询语句,查询语句的结果集有22万数据,22万的数据通过网络传输到应用端,应用端再处理;        EsgynDB默认情况下是单次返回查询结果集的200,22万数据需要传

    joshliu SQL on Hadoop 768 2020-12-24 15:55
  • EsgynDB数据库odb工具常见优化

    ODB主要作为数据迁移的一种工具使用,往往大数据量数据迁移时,对性能的要求比较大,该篇文章主要介绍ODB迁移数据时,常见的优化方法1、指定loadcmd=UL迁移时,指定loadcmd使用UL方式,即upsert using load;默认情况下是使用IN方式,即insert方式;insert是单条插入没有并发,UL方式性能更好;2、EsgynDB中表分区根据迁移表的数据量和集群规模,设置表的分区

    joshliu SQL on Hadoop 699 2020-12-23 18:56
  • EsgynDB数据库odb工具常见用法

    之前有介绍过ODB工具的基本介绍,该篇文章介绍的是ODB工具的常见用法一、ODB工具语法[root@test01 oracle]# odb64luo -h odb version 1.1.0 Build: linux, amd64, gcc generic m64, uodbc,&nb

    joshliu SQL on Hadoop 774 2020-12-23 18:28
  • EsgynDB数据库odb工具基本介绍

    一、基础介绍odb是一款平台无关的,多线程的,基于ODBC的命令行工具;Trafodion数据库使用odb来做以下事情:并行数据加载/抽取、查询驱动、SQL解释器;二、odb安装[root@test01 software]# tar -zxf QianBase_clients-1.6.2-RH7-x86_64.tar.gz  [root@test

    joshliu SQL on Hadoop 853 2020-12-23 16:06
  • EsgynDB支持hive表的SNAPPY、GZIP压缩格式

    一、创建表hive创建无压缩表data_file和压缩表(SNAPPY、GZIP压缩)data_snappy、data_gziphive>      > CREATE TABLE `data_file`(     >   `gt

    joshliu SQL on Hadoop 695 2020-12-23 14:17
  • EsgynDB query cache

    分布式数据库EsgynDB,每个连接服务mxosrvr进程中都有一块local cache,可以保存在mxosrvr中执行过的SQL执行计划的信息;Query cache查看query cache主要涉及两张虚拟表:        table(querycache('user','local')):保存了所有cache的que

    joshliu SQL on Hadoop 595 2020-12-18 19:06
  • EsgynDB add_months函数每月最后一天的减运算

    2020年10月有31天,2020年11月有30天,当在2020年11月30日做减一个月的运算时,普通数据库,按照11月30日是改月最后一天,减去一个月的值为10月31日,EsgynDB减去一个月不同的写法有不同的结果,更能满足客户不同场景的需求;oracle:SQL> select add_months(date '2020-11-30',-1

    joshliu SQL on Hadoop 747 2020-12-18 18:43
  • EsgynDB SQL语法show

    分布式数据库EsgynDB中,每个链接都有一个服务mxosrvr,后台可以通过trafci连接,应用可以使用url串链接;mxosrvr服务在每个节点上都存在,怎么判断我连接的是那个节点的哪一个mxosrvr呢?如果链接为长连接时,时间长了,操作人员在多个schema中切换,怎么知道我在哪一个schema中呢?SQL>show remoteprocess  ##

    joshliu SQL on Hadoop 775 2020-12-18 18:20
  • EsgynDB 查询大表提示:the access path chosen might not be the best possible

    【问题描述】        在EsgynDB中,当有时候对大表进行查询操作时提示如下信息:*** WARNING[6008] Statistics for column (ID) from table TRAFODION.SEABASE.UIRB_DATA_VERSION&nbs

    joshliu SQL on Hadoop 313 2020-12-18 18:00
  • EsgynDB 序列支持的最大值

    分布式数据库EsgynDB,序列可支持以下三种数据类型,当不知道数据类型的时候默认是LARGEINT SMALLINT UNSIGNED -> 最大值2^16-1INTEGER UNSIGHED -> 最大值2^32-1LARGEINT -> 最大值2^63-2SQL> CREATE SEQUENCE&n

    joshliu SQL on Hadoop 598 2020-12-18 18:00
  • EsgynDB ODBC配置

    一、安装unixODBC[root@test01 ~]# yum install unixODBC -y  [root@test01 ~]# ll /etc/odbc*  ## 看是否有文件odbc.ini,odbcinst.ini -rw-r--r-- 1&nbs

    joshliu SQL on Hadoop 714 2020-12-18 17:35
  • EsgynDB单节点连接数超过200设置

    分布式数据库集群EsgynDB,默认情况下单节点有最大200连接限制,如果应用场景需要单个节点连接数超过200,设置如下;修改mxosrvr相关的配置文件dcs-site.xml[trafodion@test02 ~]$ cdc [trafodion@test02 conf]$ cd dcs/ [trafodion@test02 dc

    joshliu SQL on Hadoop 538 2020-12-18 16:49
点击加载更多下一页

成为大咖

联系我们
itpub
help@itpub.net
ITPUB-饶
扫描二维码联系客服
关于• 广告服务• 使用条款
京ICP备16024965号
经营性网站备案信息
网络110报警服务
中国互联网举报中心
北京互联网违法和不良信息举报中心

关注公众号获取更多技术文章