-
join优化
转载： http://blog.sina.com.cn/s/blog_9f48885501017a8s.html join优化
-
Hive建非分区表
CREATE TABLE IF NOT EXISTS u1.t1( MONTH_ID STRING, -- 月份 NAME STRING, -- 姓名 SALARY DOUBLE, -- 薪资 ) PARTITIONED BY(PART_ID DOUBLE, DAY_ID STRING)ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'WITH SERDEPROPERTIES ('field.delim...
-
使用SequenceFile存储BytesWritable类型时要注意
将office文件转为byte[] -> bytesWritable存入SquenceFile中，取出数据时发现文件打不开保错，打印出保存前byte[]和取出后的byte[]长度一看，发现长度不同，后者增加不少。原因： BytesWritable，使用这个类型非常容易犯错误。当你把一堆byte[]数据保存到BytesWrita...
-
Hadoop编程调用HDFS
Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。从2011年开始，中国进入大数据风起云涌的时代，以Hadoop为代表的家族...
-
sqoop与oracle交互
首先把 odbj14.jar copy 到 SQOOP_HOME/lib目录下可以使用sqoop help 查看sqoop命令列出oralce10g mytest用户下的所有表，用户名要大写，小写什么也不显示sqoop ?list-tables --connect "jdbc:oracle:thin:@192.168.168.10:1521:orcl" --username mytest --password mytest使用sqoop 将表DEPT导入到HDFS中...
-
HIVE 笔记
1. 如果join中多个表的 join key 是同一个，则 join 会被转化为单个 map/reduce 任务，例如： SELECT a.val,b.val, c.val FROM a JOIN b ON (a.key =b.key1) JOIN c ON (c.key =b.key1) ...
-
Sqoop安装及验证
环境：系统Red hat linux 6.4Hadoop版本1.2.1Sqoop版本1.4.4Mysql数据库版本5.6.15...
-
win下使用maven+eclipse构建HAOOP环境,运行控制台报"文件权限"错，解决办法
win下使用maven+eclipse构建 虚拟机 HAOOP环境 运行控制台报"文件权限"错 2014-9-30 14:25:02 org.apache.hadoop.util.NativeCodeLoader 警告: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable2013-9-30 19:25:02 org.apache.hadoop.security.UserGroupInforma...
-
greenplum安装（单机环境）
1，前期系统准备操作系统信息：[root@goolen goolen]# cat /etc/issueRed Hat Enterprise Linux Server release 6.3 (Santiago)Kernel \r on an \m[root@goolen goolen]# uname -aLinux goolen 2.6.32-279.el6.x86_64 #1 SMP Wed Jun 13 18:24:36 EDT 2012 x86_64 x86_64 x86_64 GNU/Linux创建用户和组 gpadmin&n...
-
使用maven+eclipse构建HAOOP环境,HBASE JAVA API操作部分
使用maven+eclipse构建HAOOP环境,HBASE JAVA API操作部分代码import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop.hbase.HTableDescriptor;import org.apach...
-
快速搭建 Hadoop 环境
对于Hadoop来说，最主要的是两个方面，一个是分布式文件系统HDFS，另一个是MapReduce计算模型，下面讲解下我在搭建Hadoop 环境过程。Hadoop 测试环境共4台测试机，1台namenode 3台datanode OS版本：RHEL 5.5 X86_64 ...
-
hadoop，hbase，hive安装过程
操作系统：CentOS 5.5Hadoop：hadoop-0.20.203.0jdk1.7.0_01namenode主机名:master，namenode的IP:10.10.102.15datanode主机名:slave1，datanode的IP:10.10.106.8datanode主机名:slave2，datanode的IP:10.10.106.9一、hadoop 安装1、建立用户useradd hadooppasswd hadoop2. 安装 JDK * 先查看是否安装了j...
-
Hadoop生态系统介绍
1、Hadoop生态系统概况【来源：e良师益友网】Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。下图为hadoop的生态系统：2、HDFS（Hadoop分布式文件系统）源自于Google的GFS论文，发表于2003年10月，HDFS是GFS克隆版...
-
solrcloud+zk+tomcat 详细配置
版本：solr 4.9.0zookeeper 3.4.5tomcat 7.0.42ZK、tomcat安装过程省略OK开始1.解压 solr-4.9.0的压缩包，并且把solr-4.9.0/example/webapps/solr.war解压至/usr/local/solr目录下2.把 solr-4.8.1\example\lib\ext下的 jar包放到solr\WEB-INF\lib下3....
-
基于Solr的HBase多条件查询测试
背景：某电信项目中采用HBase来存储用户终端明细数据，供前台页面即时查询。HBase无可置疑拥有其优势，但其本身只对rowkey支持毫秒级的快 速检索，对于多字段的组合查询却无能为力。针对HBase的多条件查询也有多种方案，但是这些方案要么太复杂，要么效率太低，本文只对基于Solr的HBase多条件查询方案进行测试和验证...
-
Acheter ghd qui est feuillage peut éventuellement
Ghd lisseur drapeau national diamant edition limitée
-
hadoop + ffmpeg 云转码
hadoop + ffmpeg 分布式转码系统实践 hadoop 安装 ffmpeg 安装 mkvtoolnix 安装 一、分割视频：mkvmerge --split size:32m ./heihu01.mp4 -o ./heihu01.%05d.mp4 二、hdfs中创建存放分割后视频的目录 hadoop fs -mkdir movies 三、上传分割后的视频for i in `ls he...
-
NULL LASTS 在 Hive 里的实现
Hive：SELECT B.*, ROW_NUMBER() OVER(DISTRIBUTE BY CUSTOMER_ID SORT BY B.CERT_TYPE, B.IS_CERT_REAL DESC,CASE WHEN B.CUSTOMER_ID IS NULL OR &n...
-
UDF UDAF UDTF
UDF:一进一出（ 输入一行输出一行 On-to-one maping ）UDAF:多进一出（ 输入多行输出一行 Many-to-one maping ）UTDF:一进多出（ 输入一行输出多行 On-to-many maping ）
-
Hive求差集
SELECT BB.ID,BB.NAME FROM (SELECT A.* FROM A ) AARIGHT OUTER JOIN (SELECT B.* FROM B) BBON (AA.ID= BB.ID)WHERE AA.ID IS NULL ;
