ITPub博客

CSV&TEXT格式数据文件如何通过外部表的方式导入HashData在青云上面的应用优势：操作简单，不需要额外的ETL工具导入是多实例并发执行，效率大概在每个instance10-15MB/s如何通过外部表将csv&text格式数据文件，导入到hashdata数据仓库，简约步骤如下：

本章概要：简单介绍createtype类型的创建和使用。留后补充case1：创建一个compfoo数据类型：CREATETYPEcompfooAS(f1int,f2text);1创建一个表foo，插入两条测试数据：createtablefoo(fooidint,foonamevarchar);ins

Cannotassignrequestedaddressenvironment:master+standby+4segment12instancepersegmenthostwheninsertintotableabout200millionrows.Itthroughouterrorlikebel

外部表分隔符尽可能的不要使用换行符或者回车符作为分隔符。DELIMITER默认情况下text格式导出文件，分隔符为制表符。csv格式导出文件为逗号。将分割符替换为ASCII码替换分隔符为\001$catreplaceScript.sh#!/bin/sh#生成隐藏字符soh=`echo1|awk'{p

max_statement_mem设置每个查询最大使用的内存量，该参数是防止statement_mem参数设置的内存过大导致的内存溢出。statement_mem设置每个查询在segment主机中可用的内存，该参数设置的值不能超过max_statement_mem设置的值，如果配置了资源队列，则不能

背景：我们有时候可能希望将shema中的现有表以及未来创建的表的select权限分配给用户。在PostgreSQL9.0及以后版本新增了ALLTABLESINSCHEMA语法，是可以实现以上功能需求的。GRANT{{SELECT|INSERT|UPDATE|DELETE|TRUNCATE|REFER

1.hashdata关于分区表权限分配的问题？日常工作中，针对一些大表，我们可能会进行分区处理，即创建分区表。分区表可能存在一个或几个分区，也可能会存在几十个或者上百个分区。当我们想要将这个分区表的select,insert,updata,delete等权限分配给用户时，分区比较少的情况可以直接将各

HashData复合主键HashData是支持复合主键的。在创建过程中，会同时创建一个唯一性复合索引。示例创建一个简单的测试表---createtablecreatetablet_coposite_keys(idint,namevarchar,ageint,primarykey(id,name));

HashData如何找到并合法清理进程会话查看指定数据库存在的用户进程存在一些疑问点查看指定数据库存在的用户进程此处我们以warehouse数据库为例：warehouse=#select*frompg_stat_activity;datid|datname|procpid|sess_id|usesy

从单机数据库到分布式数据仓库，数据的存储和分析的方式在不断演进，2016年成立的酷克数据则是将数据仓库搬上云端，推出了SQL-on-Cloud。HashData，致力于降低企业大数据分析门槛❆1、云端数据仓库HashData联合创始人简丽荣，先后在IBM、雅虎以及Pivotal从事分布式计算研发工作

本次我们就从能找到的一些基础来做一些PostGis熟悉性的实验。首先说明一下添加postgis插件的方法：切换到HashData管理用户下，默认情况下是（gpadmin）执行以下SQL：psql-d<DATABASE_NAME>-f/opt/gpsql/share/postgresql/

项目背景在混合使用的环境中，特别是测试环境。如果数据库长时间没有使用，再次使用的时候可能会遇到数据库不能使用的情况，导致这个情况出现的原因：在没有正常关闭HashData数据库的情况下进行了集群中某些机器的重启。服务器时间未做ntp时钟同步，时差过大。修改了防火墙信息。人为误操作，导致数据库进程不正

HashData数据仓库离线安装手册第一章：文档概述1.1适用范围本安装手册适用于HashData数据仓库V1.2.2版本的离线安装操作。本安装手册适用于RedhatLinux7.0以上版本和CentOS7.0以上版本的操作系统。本安装手册适用于开发测试环境的安装部署。生产环境的安装部署请联系售后。

本章概要：简单介绍createtype类型的创建和使用。留后补充case1：创建一个compfoo数据类型：CREATETYPEcompfooAS(f1int,f2text);1创建一个表foo，插入两条测试数据：createtablefoo(fooidint,foonamevarchar);ins

表一：HashData支持的数据类型—-数值类型类型名称存储空间描述范围smallint2字节小范围整数-32768~+32768integer4字节常用的整数-2147483648~+2147483648bigint8字节大范围的整数-9223372036854775808~+9223372036

本文将介绍北京一家初创企业HashData构建基于云原生的MPP平台的过程。该企业利用对象存储作为数据持久层，Alluxio作为云中的数据编排层，最终构建了一个原生云高性能MPP共享的体系架构。HashData是由一群来自Pivotal、Teradata、IBM、Yahoo!等开源数据资深人士于20

摘要：建行数据平台经历了数据仓库、新一代数据平台和大数据云平台三个阶段。本文简要的介绍了在第三阶段：大数据云平台这个阶段，HashData计算存储技术如何解决以前的一些问题与挑战以及目前一些建设成果。建行数据平台发展历程（图片来源：建信金融科技）第一阶段：数据仓库+ODS2004年左右，建行开始真正

背景与挑战在对象存储技术出现和普及之前，HDFS（Hadoop分布式文件系统）是市场上为数不多的开源、免费、高性价比（相对于昂贵的SAN系统）PB级存储系统，大量用于企业数据归档场景。同时，HDFS之上衍生了很多针对不同技术要求的分布式计算框架，使其适用于非结构化数据的清洗规整、流式计算和机器学习等

｜多云架构的应运而生今天，随着企业数字化进程的推进，多云成为了企业IT基础设施建设的重要特点。多云战略的实施，帮助企业降低了成本，提高了服务效率及安全性。特别是全球性跨国公司，不仅需要业务集中化管理，同时需要满足不同地域的业务运营和监管需求。相比于AWS、Azure、谷歌云等公有云上的云原生数据仓库

背景外部表是数据仓库非常重要的一个功能特性，包括AWSRedshift、AzureSynapse、GoogleBigQuery和Snowflake等云数仓产品都有着完善的支持。顾名思义，外部表与内部表（或者内置表）对应，后者指的是正常的数据库表，无论是表的元数据还是物理数据文件均由数据库自身管理，而