-
浅谈Hadoop
大数据的概念炒了好多年了，很显然这项技术经受住了时间的考验，不是有些人想的那样华而不实，多年来总是伴随着Hadoop的身影越发壮大。这些年来数据的增长量真是发生了天翻地覆的变化，原来大家过年的时候都会很认真的拍一张全家福，恨不得把胶卷能够正反两用，多存点照片，现在好了，手机各类终端齐上阵，微博，微信，图...
-
Hive格式化输出数据库和表详细信息
hive (test)> desc formatted page_view_1;OKcol_namedata_typecomment# col_name data_type comment viewtime int &nbs...
-
Hadoop属性注释
hive> set hive.cli.print.current.db=true;hive (default)>
-
Hadoop命令别名
[hadoop@master /]$ alias hdfs='hadoop dfs'[hadoop@master /]$ hdfs -ls /tmpDEPRECATED: Use of this script to execute hdfs command is deprecated.Instead use the hdfs command for it.Found 4 itemsdrwxrwxrwx - hdfs supergroup 0 2015-06-20 16:14 /tmp/.c...
-
Hadoop属性大全
Hadoop参数变量
-
Hive Commands and CLIs
.Hive Commands and CLIs
-
Log4j日志级别
Log4j日志级别
-
彻底理解MapReduce shuffle过程原理
MapReduce的Shuffle过程介绍 Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程，把一组无规则的数据尽量转换成一组具有一定规则的数据。为什么MapReduce计算模型需要Shuffle过程？我们都知道MapReduce计算模型一般包括两个重...
-
Hbase计数器异常Attempted to increment field that isn
该异常为要自增的字段不为数字数字类型，所以调用incrementColumnValue方法会报错首次put时指定为long字段：put.add(Bytes.toBytes("cf"),Bytes.toBytes("count"), Bytes.toBytes(1l)); //1后边有个l再次自增：table.incrementColumnValue("rowkey1".getBytes(),"cf".getBytes(),"count".getBytes(),1...
-
MapReduce基准测试优化
Hadoop中自带了一个符合工业标准的基准测试工具TeraSort，用来比较hadoop的性能。这个工具尝试使用整个集群尽可能的对数据进行排序。TeraSort分为三个模块：1.TeraGen ：该模块用来生成数据作为输入文件，通常在500G~3TB。 2.TeraSort ：该模块在Hadoop集群内对输入文件进行排序，并在MapReduce和HDFS两个层次...
-
MapReduce优化之字节级别快速排序
MapReduce默认使用RawComparator对map的输出键进行比较排序。内置的Writable类（例如Text和IntWritable）是字节级实现。这样不用将字节形式的类解排列（unmarshal）成类对象。如果要通过WritableComparable实现自定义Writable，就有可能延长洗牌和排序阶段的时间，因为它需要进行解排列。 问题： ...
-
零基础学习hadoop到上手工作线路指导(2)
上一篇文章为零基础学习hadoop到上手工作线路指导(1) 这和我们看到的配置完全不一样。这是因为我们安装Linux之后，并没有安装vim包。所以我们又遇到了困难。如果你熟悉Linux的话，这个根本不是问题。 vi /etc/network/interfaces 复制代码 上面命令迎刃而解。一个vim，一个vi。在我们刚接触这些肯定云里雾里，所以你需要首先有成就感，然后在慢慢接触。下面都是经过实践的内容，也算是经验，大家可以参考。 云技术基础：学习hadoop使用零基础linux(Ubuntu)笔记 搭建集群必知：Linux常用命令及修改文件总结（不断更新
-
hive NULL值影响
今天发现一个问题，将数据文件导入hive，然后校验数据，具体如下：step1：select count(1),count(distinct sys_code,order_no,hotel_seq) from dw_source.oc_hotel_order where dt='20150530';结果： 57736688 57656110说明：sys_code,order_no,hotel_seq 存在重复的，分组不唯一！ 推论 select sys_code...
-
Trafodion成为Apache incubation项目了
经过一段时间的准备，Trafodion在2015年5月24日成为了一个Apache incubation项目。由Michael Stack作为导师。将受到越来越多的关注。对开源项目感兴趣，且愿意投身到开源数据库研发的同行还请看过来。如果您错过了Hadoop，错过了HBase，又错过了Spark，不如赶紧加入Trafodion开发团队。RDBMS on Hadoop是一个不错的发展方...
-
国外、国内Hadoop的应用现状
国外、国内Hadoop的应用现状
-
《Hadoop基础教程》之初识Hadoop
读后感 Hadoop一直是我想学习的技术，正巧最近项目组要做电子商城，我就开始研究Hadoop，虽然最后鉴定Hadoop不适用我们的项目，但是我会继续研究下去，技多不压身。 《Hadoop基础教程》是我读的第一本Hadoop书籍，当...
-
Trafodion优化器简述,第二部分
在前一篇博文中，笔者着重介绍了DynamicProgramming。今天，将简单介绍Cascades，也就是Trafodion的优化器框架。
-
The expense of the deposit itself varies with duration
House plus the server's trade economy can feel as intimidating since national debt. What sells? What doesn't? How would you discover bargains? You must what prices to line for that goods? Is undercutting a shrewd idea? Is there a fastest technique to get gold – and will there be a safest way?Und...
-
RuneScape isn't a exception to the rule in addition to being
supporters evolution. Warcraft Vanilla and Dark Ages of Camelot: New Frontiers are only just examples dividing a residential district, that will then disperse by way of example on private servers (and illegal).Former MMORPG exceeding decade and services information, RuneScape isn't a exception to...
-
FIFA 15’s quantity of realism will please fans of football immensely
Instantly, the alterations seem minimal, but this really is the top football game open. The alterations inside pitch, which make the gameplay somewhat more fluid and unpredictable, ensure with an engaging, exciting and highly entertaining football game. EA Canada hasn’t faffed about with pointless ...
