-
编辑 删除
实用小脚本——mysql/mongo 导出到本地文件
一. mongo导出到本地点击(此处)折叠或打开#!/bin/bashset -e#变量声明database=""table=""columns=""query=""datafile_path=""#函数定...
-
编辑 删除
shell常用小方法——快速实现upper和lower
UPPERCASE：[root@datanode-32 test]# echo "abc123"| tr '[a-z]' '[A-Z]'结果：ABC123LOWERCASE：[root@datanode-32 test]# echo "XAC123"| tr '[A-Z]' '[a-z]'结果：xac123脚本中:UPPERCASE=$(echo $VARIABLE | tr '[a-z]' '[A-Z]') (把VARIABLE的小写转换成大写)L...
-
编辑 删除
ES读取Json文件添加索引
今天学习了下，ES添加索引： 添加方式 ：1.读取 JSON 文件 获取相应的索引字段值 2.逐条读取写入ES创建索引。(注意:本例读一条，写一条效率非常低。因此可以改成批量写入，大幅度提升效率)...
-
编辑 删除
msck repair命令 修复表分区
msck repair table 表名； 该命令会把没添加进partition的数据，都增加对应的partition。同步源数据信息metadata。场景： 由于一个数据量较大的表使用的是textfield格式存储，需要将此表转换成rcfile格式存储。step1. 使用 hadoop fs -mv hdfsdir1 hdfsdir...
-
编辑 删除
AWK好文 及 常用统计分析SQL在AWK中的实现
最近有需求需要本地处理一些临时的数据，用做统计分析。如果单纯的 MYSQL 也能实现， 不过一堆临时数据这样从 mysql 导来导去还是挺麻烦的，比较理想的选择是本机装个 cygwin
-
编辑 删除
不使用分析函数的累计统计查询
案例：以日期金额统计为例<br />SQL> select * from day_sales;<br /> <br />SALE_DATE DAY_AMOUNT<br />----------- ----------<br />2015/1/1 300<br />2015/1/3 300<br />2015/1/4 40...
-
编辑 删除
hive大数据倾斜总结
1数据倾斜的原因1.1操作：关键词情形后果Join其中一个表较小，但是key集中分发到某一个或几个Reduc...
-
编辑 删除
hive NULL值影响
今天发现一个问题，将数据文件导入hive，然后校验数据，具体如下：step1：select count(1),count(distinct sys_code,order_no,hotel_seq) from dw_source.oc_hotel_order where dt='20150530';结果： 57736688 57656110说明：sys_code,order_no,hotel_seq 存在重复的，分组不唯一！ 推论 select sys_code...
-
编辑 删除
hive表分区
必须在表定义时创建partitiona、单分区建表语句：create table day_table (id int, content string) partitioned by (dt string);单分区表，按天分区，在表结构中存在id，content，dt三列。以dt为文件夹区分b、 双分区建表语句：create table day_hour_table (id int, content string) partitioned by (dt st...
-
编辑 删除
hive sql 常用语法详解
原文：http://blog.csdn.net/hguisu/article/details/7256833Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自...
-
编辑 删除
用explode函数把json中用一层级数据一行转换多行
原文地址：http://mechanics.flite.com/blog/2014/04/16/using-explode-and-lateral-view-in-hive/点击(此处)折叠或打开select d.placement_id, d.id, d.version, count(1) as impressionsfrom( select c.placement_id,&n...
-
编辑 删除
日期函数
返回类型函数说明stringfrom_unixtime(bigint unixtime[, string format])UNIX_TIMESTAMP参数表示返回一个值’YYYY- MM – DD HH：MM：SS’或YYYYMMDDHHMMSS.uuuuuu格式，这取决于是否是在一个字符串或数字语境中使用的功能。该值表...
-
编辑 删除
数学函数
返回类型函数说明BIGINTround(double a)四舍五入DOUBLEround(double a, int d)小数部分d位之后数字四舍五入，例如round(21.263,2),返回21.26BIGINTf...
-
编辑 删除
hive字符串函数
字符串函数字符串长度函数：length Java代码 语法: length(string A) 返回值: int 说明：返回字符串A的长度 举例： hive> select length(‘abcedfg’)...
-
编辑 删除
hive外部表
原文：http://blog.chinaunix.net/uid-77311-id-4586440.html我们在创建表的时候可以指定external关键字创建外部表,外部表对应的文件存储在location指定的目录下,向该目录添加新文件的同时，该表也会读取到该文件(当然文件格式必须跟表定义的一致)，删除外部表的同时并不会删除location指定目录下的文件.1.查看hdfs系...
-
编辑 删除
Hadoop 版本演进
Hadoop版本演进概况：备注：NameNode HA ： NameNode高可用 ， HDFS Fedreation 分布式文件系统联盟 解决了1带的单点问题 Yarm 分布式资源管理系统，解决JobTrack单点问题 1. hadoop 1.x 版本的生态系统：2. hadoop 2.x...
-
编辑 删除
Hive随手记——建库
HiveSQL 是 Hive查询语言。和普遍使用的SQL很类似。（与Mysql 最接近）Hive不支持行级插入操作、更新操作和删除操作。Hive不支持事物。HiveSQL可以用于创建、修改、删除数据库、表、视图、函数和索引。一.创建数据库 Hive中数据库的概念本质上仅仅是表的一个目录或者命名空间。1.可以使用 SHOW DA...
-
编辑 删除
【MySQL】常见的mysql 进程state
Analyzing线程是对MyISAM 表的统计信息做分析(例如, ANALYZE TABLE )。checking permissions线程是检查服务器是否具有所需的权限来执行该语句。Checking table线程正在执行表检查操作。cleaning up线程处理一个命令,...
-
编辑 删除
Mysql: 利用强制索引去掉重数据
Mysql: 利用强制索引去掉重数据目的：把a b表的数据去掉重复的数据后放到c表中数据库版本：[root@mysqltest ~]# mysql -u root -p123456Welcome to the MySQL monitor. Commands end with ; or \g.Your MySQL connection id is 389805Server version: 5.1.73-community MySQL Community Server (GPL)Copyr...
-
编辑 删除
HIVE配置启动Hwi方法，版本0.14.0
1.下载源码包： wget http://mirror.bit.edu.cn/apache/hive/hive-0.14.0/apache-hive-0.14.0-src.tar.gz2.解压，并找到 hwi/web点击(此处)折叠或打开[zhang@namenode Downloads]$ cd apache-hive-0.14.0-src[zhang@namenode apache-hive-0.14.0-src]$ lsa...
