-
hadoop2.3.0安装及eclipse开发环境配置
目录 1）操作系统安装完毕后，需要安装ssh，关闭防火墙等。... 3 2） 安装JAVA: 6 3） 安装hadoop：... 7 4） 安装eclipse：... 19 &n...
-
SequenceFile文件 （R0.5）
转载地址：http://blog.csdn.net/xhh198781/article/details/7693358 SequenceFile文件是Hadoop用来存储二进制形式的key-value对而设计的一种平面文件(Flat File)。目前，也有不少人在该文件的基础之上提出了一些HDFS中小文件存储的解决方案，他们的基本思...
-
在HDFS上使用Lucene的SourceCode
//非HDFS上建立索引// Creating IndexWriter object and specifying the path where Indexed//files are to be stored.IndexWriter indexWriter = new IndexWriter("E://DataFile/IndexFiles", new StandardAnalyzer(), true); // Creating BufferReader object and s...
-
During Operating Oilfield Drilling Mud Solids Control Equipment
solids control http://chinesesolidscontrol.blogspot.com/drilling solids control http://www.ogemsolidscontrol.com/solids control equipment http://www.hbequipments.com/
-
hive partition
partition是hive提供的一种机制：用户通过指定一个或多个partition key，决定数据存放方式，进而优化数据的查询一个表可以指定多个partition key，每个partition在hive中以文件夹的形式存在。实例（static partition）：编辑文件：/home/work/data/test3.txt; /home/work/data/test4.txt;$ cat /home/work/data/te...
-
hive文件数限制
[Fatal Error] total number of created files now is 100086, which exceeds 100000解决方法：hive> set hive.exec.max.created.files=655350;
-
HIVE Indexex 索引
Creating an Index -- 创建一个索引[sql] view plaincopyprint?CREATE TABLE employees ( name STRING, salary &nbs...
-
hive中的外表EXTERNAL TABLE
在hive中，外表是个很重要的组成部分，通过外表可以很方便进行数据的共享。因为普通的表会将数据文件拷贝自己的目录下，这样想要分享数据只能保存多份数据。但是外表很好的解决了这个问题。CREATE EXTERNAL TABLE sunwg_test09(id INT, name string)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ‘/t’LOCATION ‘...
-
hive中的bucket table
当数据量比较大，我们需要更快的完成任务，多个map和reduce进程是唯一的选择。但是如果输入文件是一个的话，map任务只能启动一个。此时bucket table是个很好的选择，通过指定CLUSTERED的字段，将文件通过hash打散成多个小文件。create table sunwg_test11(id int,name string)CLUSTERED BY(id) SORTED BY(name) IN...
-
HIVE中的自定义函数
hive默认的函数并不是太完整，以后我们使用的使用肯定需要自己补充一些。下面这个例子是个简单的测试，关于自定义函数的。函数代码package com.example.hive.udf;import org.apache.hadoop.hive.ql.exec.UDF;import org.apache.hadoop.io.Text;public final class Lower extends UDF { public Text...
-
hive中的null值
在hive里面默认的情况下会使用’/N’来表示null值，但是这样的表示并不符合我们平时的习惯。所以需要通过serialization.null.format的设置来修改表的默认的null表示方式。测试表hive> select * from sunwg00;OKNULL mary101 tomTime taken: 0.058 seconds创建普...
-
hive中的Order By
hive中的order by也是对一个结果集合进行排序，但是和关系型数据库又所有不同。这不同的地方也是两者在底层架构区别的体现。hive的参数hive.mapred.mode是控制hive执行mapred的方式的，有两个选项：strict和nonstrict，默认值是nonstrict。这个两个值对order by的执行有着很大的影响。测试用例hive> select * ...
-
hive中的sort by
在hive中不光有order by操作，还有个sort by操作。两者执行的都是排序的操作，但有存在很大的不同。还是用上次order by的例子来说明。测试用例hive> select * from test09;OK100 tom200 mary300 kate400 ti...
-
浅析 Hadoop 中的数据倾斜（R0.1）
转载地址： http://my.oschina.net/leejun2005/blog/100922最近几次被问到关于数据倾斜的问题，这里找了些资料也结合一些自己的理解. 在并行计算中我们总希望分配的每一个task 都能以差不多的粒度来切分并且完成时间相差不大，但是集群中可能硬件不同，应用的类型不同和切分的数据大小不一致总...
-
一、HIVE基本语法：创建数据仓库
1. HIVE 的基本语法请参考官方文档:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL 2. 简单介绍下HIVEQL的语法结构： 2.1 HIVE 的DDL语句如下： CREATE DATABASE/SCHEMA, TABLE, VIEW, FUNCTION, INDEX DROP DATABASE/SCHEMA, TABLE, VIEW, INDEX TRUNCAT...
-
hadoop 2.2.0安装开发环境（单机伪分布模式）
最近一直在自学Hadoop，今天花点时间搭建一个开发环境，并整理成文。 首先要了解一下Hadoop的运行模式： 单机模式（standalone） 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件...
-
腾讯大规模Hadoop集群实践
TDW是腾讯最大的离线数据处理平台。本文主要从需求、挑战、方案和未来计划等方面，介绍了TDW在建设单个大规模集群中采取的JobTracker分散化和NameNode高可用两个优化方案。
-
hadoop概要
hadoop hadoop 简介： hadoop是一个能够对大量数据进行分布式处理的软件框架，实现了google的MapReduce编程模型和框架， 把应用程序分割成效的工作单元，并把这些单元放到集群节点上执行。角色：NameNode： NameNode是HDFS守护进程，负责记录文...
-
腾讯大规模Hadoop集群实践
TDW是腾讯最大的离线数据处理平台。本文主要从需求、挑战、方案和未来计划等方面，介绍了TDW在建设单个大规模集群中采取的JobTracker分散化和NameNode高可用两个优化方案。
-
NameNode，DataNode的监控
NameNode，DataNode的监控
