-
编辑 删除
正则表达式
http://www.jb51.net/tools/zhengze.html 一、 正则表达式在编写处理字符串的程序或网页时，经常会有查找符合某些复杂规则的字符串的需要。正则表达式就是用于描述这些规则的工具。换句话说，正则表达式就是记录文本规则的代码。...
-
编辑 删除
Hive null的用法
(17)Hive null的用法Hive中有种假NULL，它看起来和NULL一摸一样，但是实际却不是NULL。空值NULL在底层默认是用'\N'来存储的，Hive中'\'是转义字符，需要对'\'进行一次转义，所以变成'\\N'。如果实际想存储'\N'，那么实际查询出来的也是NULL而不是'\N'。修改默认的NULL表示：alter table test SET SERDEPROPERTIES(...
-
编辑 删除
mongoDB VUE问题
1. mongoDB VUE问题 但是不能打开数据库，出现异常： [mongo@localhost data]$ wc -l socialRelation.json73224 socialRelation.json Invalid credentials for database 'admin'.Type: MongoDB.Driver.MongoAuthenti...
-
编辑 删除
Mongo Window启动命令
1. Window启动命令启动mongodbC:\mongodb_no_fix\bin\mongod --dbpath=C:\mongodb_no_fix\data--logpath=C:\mongodb_no_fix\log\mongodb.log --installnet start mongodb Mongo DB 服务已经启动成功。C:\mongodb_no_fix\bin\mongo...
-
编辑 删除
pg建索引
https://www.postgresql.org/docs/9.6/static/indexes-partial.htmlcreate index a index on gfwealthdb_shopUserRelationloss (a,khrq) where a ='1'create index b index on gfwealthdb_shopUserRelationloss (b,khrq) where b&...
-
编辑 删除
分区表循环函数
CREATE OR REPLACE FUNCTION lw.loop_create_table( beg_date date, days integer) RETURNS integer AS$BODY$ DECLARE end_date date ; DECLARE quantity text:='false';  ...
-
编辑 删除
Pg实现add_month
SELECT (date_trunc('MONTH', now()) + INTERVAL '0 MONTH - 1 day')::date;select date '2016-01_03' +interval '1 month'
-
编辑 删除
PG的字符串反转函数
CREATE OR REPLACE FUNCTION lw.str_fz( str character varying) RETURNS character varying AS$BODY$ DECLARE str_fz character varying ; DECLARE str_sz charac...
-
编辑 删除
hive Union和union all
(1) Union和union all总结分析1. 子查询相当于表名，使用 from 关键字需要指定真实表名或表别名。2. hive 不支持union ，只支持union all 3. 子查询中使用union all 时，在子查询里不能使用count、sum 等 聚合函数 4. 两表直接进行union all 可以...
-
编辑 删除
导出分区表
expdp bi/bi@orcl directory=DATA_DIR dumpfile=bi%U.dmp tables=Bi_Fact_Aidsreports,Bi_Fact_Aidsreportsq,Bi_Fact_Aidsreportsy logfile=bi.log parallel=2 filesize=2000M 参考：expdp hii/hiiCDjd@cdhii directory=DIR_DP dumpfile=hii_exdi_%U.dmp SCHEMAS=hii exclude=TABLE:\"i...
-
编辑 删除
时间追数脚本
时间脚本declare ldBegin date; ldEnd date;begin ldBegin := to_date( '2006-01-01', 'yyyy-mm-dd'); ldEnd := to_date( '2014-01-01', 'yyyy-mm-dd'); -- while ( ldBegin < ldEnd ) loop -- insert into D_Time...
-
编辑 删除
hive参数说明
1.参数说明(1)set hive.auto.convert.join=false;set hive.auto.convert.join=false;原因: map join bug比较多hive0.11之前，默认的join方式是reduce端join，即shuffle join(hive.auto.convert.join默认为false),其原理是map的输出数据通过hash进行partition，然后shuffle至对应的reduce端,执行join.如果join key分...
-
编辑 删除
sqoop安装配置
sqoop安装配置sqoop是一个把关系型数据库数据抽向hadoop的工具。同时，也支持将hive、pig等查询的结果导入关系型数据库中存储。由于，笔者部署的hadoop版本是2.2.0，所以sqoop的版本是：sqoop-1.99.6-bin-hadoop200.tar.gz1.下载sqoop ?http://www.apache.org/dyn/closer.lua/sqoop/2.解压sqoop安装文件&nbs...
-
编辑 删除
sqoop安装配置
sqoop安装配置sqoop是一个把关系型数据库数据抽向hadoop的工具。同时，也支持将hive、pig等查询的结果导入关系型数据库中存储。由于，笔者部署的hadoop版本是2.2.0，所以sqoop的版本是：sqoop-1.99.6-bin-hadoop200.tar.gz1.下载sqoop http://www.apache.org/dyn/closer.lua/sqoop/2.解压sqoop安装文件&nbs...
-
编辑 删除
/etc/profile和/root/.bash_profile的区别
/etc/profile是全局的，/root/.bash_profile是私有的/etc/profile用于整个系统所有用户， ~/.bash_profile, ~/.profile和~/.bashrc 用于各个用户，这里的"~"符号就是各当前用户的$HOME~/.bash_profile 和 ~/.profile 只在登陆时读取一次。~/.bashrc 每次都读取~/.bash_profile 和 ~/....
-
编辑 删除
hbase安装配置
1. hbase配置 下载：hbase-1.2.1-bin.tar.gz: http://hbase.apache.org/[root@node0 ~]#tar xvfz hbase-1.2.1-bin.tar.gz -C /usr/local改名字：[root@node0 ~]# mv /usr/local/hbase-1.2.1 /usr/local/hbase[root@node0 ~]# ln -s /usr/local/ hbase-1.2.1-bin /hbase2. &...
-
编辑 删除
Hive四种数据导入方式
Hive四种数据导入方式文档参考：http://blog.csdn.net/lifuxiangcaohui/article/details/40588929Hive的几种常见的数据导入方式这里介绍四种：（1）、从本地文件系统中导入数据到Hive表； （2）、从HDFS上导入数据到Hive表； （3）、从别的表中查询出相应的数据并导入到Hive表中； （4）、在创建表的时候通过从...
-
编辑 删除
hive 中默认的用控制符作为分隔符的使用总结
http://blog.csdn.net/xiao_jun_0820/article/details/37649713hive 默认的字段分隔符为ascii码的控制符\001,建表的时候用fields terminated by '\001',如果要测试的话，造数据在vi 打开文件里面，用ctrl+v然后再ctrl+a可以输入这个控制符\001。按顺序，\002的输入方式为ctrl+v,ctrl+b。以此类推。控制符在Java...
-
编辑 删除
centos单机安装Hadoop2.6.4
centos单机安装Hadoop2.6.4转载：http://blog.csdn.net/woshisunxiangfu/article/details/44026207集群安装：http://blog.csdn.net/linghe301/article/details/91844531.文件下载jdk下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.htmlhadoop 下载地址：http://www-eu.a...
-
编辑 删除
Hadoop基本操作命令
http://www.cnblogs.com/gpcuster/archive/2010/06/04/1751538.html在这篇文章中，我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。假设Hadoop的安装目录HADOOP_HOME为/home/hadoop/hadoop-2.6.4启动与关闭启动HADOOP1. 进入HADOOP_...
