ITPub博客

关于 “Hadoop” 的内容如下：

• hadoop主要的一些特点及相关领域发展状态

  成本低：可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。

  chenfeng Hadoop 1839 2016-05-10 08:32

• CCAH-CCA-500-5题:How will the Fair Scheduler handle these two jobs?

  5.How will the Fair Scheduler handle these two jobs?You have a cluster running with the fair Scheduler enabled. There are currently no jobs running on the cluster, and you submit a job A, so that only job A is running on the cluster. A while later, you submit Job B. Now Job A and Job B are ru...

  hackeruncle Hadoop 751 2016-05-09 19:57

• MapReduce工作原理图文详解

  1.MapReduce作业运行流程下面贴出我用visio2010画出的流程示意图：   流程分析：1.在客户端启动一个作业。2.向JobTracker请求一个Job ID。3.将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息。...

  hackeruncle Hadoop 1775 2016-05-08 14:58

• Hadoop的GroupComparator是如何起做用的（源码分析）

  点击(此处)折叠或打开public static class DividendGrowthReducer extends Reducer {        private NullWritable outputKey = NullWritable.get();  ...

  self_control Hadoop 2694 2016-05-07 19:09

• Hadoop增加和删除节点

  1. DataNode1.0 配置文件在master/namenode下修改配置文件conf/mapred-site.xml。关键参数dfs.hosts和dfs.hosts.exclude。注意：不同hadoop版本的配置文件规划不太一致！具体参考相关版本的hadoop官方文档的cluster setup部分。 http://hadoop.apache.org/docs/ 点击相同或相近版本。上面的说法是在hadoop 1.x中...

  yanke_shanghai Hadoop 2045 2016-05-06 15:42

• 【漫画】大数据：Hadoop是个啥？

  http://mp.weixin.qq.com/s?__biz=MzIyODE4NzYwMw==&mid=402197158&idx=1&sn=8abf7170f7d1f11a2d2532e07dad60f4&scene=18#wechat_redirect

  exem0626 Hadoop 407 2016-05-03 19:30

• CCAH-CCA-500-4题:Where are Hadoop task log files stored?

  CCAH,cca-500,cdh

  hackeruncle Hadoop 970 2016-04-30 17:55

• CCAH-CCA-500-3题:Table schemas in Hive are?

  CCAH,hive,schematool

  hackeruncle Hadoop 865 2016-04-30 17:27

• Hadoop2.7实战v1.0之Linux参数调优

  hadoop,tuning,调优,cdh4,cdh5

  hackeruncle Hadoop 1394 2016-04-30 16:29

• hive权限控制

  再一次查询hive中的数据时爆出Authorization failed:No privilege 'Select' found for inputs { database:hive,table:emp,columnName:id}.Use SHOW GRANT to get more details.错误：是因为使用的用户权限不足。因此只需要将select权限赋予用户即可。Hive的权限控制并不是完全安全的。hive的权限控制是为了防止用户不小心做了不合适的操作。

  熊深圳 Hadoop 6745 2016-04-27 00:25

• Unable to load native-hadoop library for your platform...

  hadoop本地库无法使用。WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable...

  熊深圳 Hadoop 5678 2016-04-26 16:59

• hive启动出现权限错误 /tmp/hive on HDFS should be writable.

  启动hive时出现。Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable.Current permissions are: rwxr-xr-x

  熊深圳 Hadoop 11480 2016-04-23 15:33

• 大数据系列分享第二期：《Hadoop生态圈》

  yanke_shanghai Hadoop 3936 2016-04-22 16:20

• Ambari 常用的 REST API 介绍

  5.10 Ambari 常用的 REST API 介绍5.10.1通过 API 卸载已安装的 Service目前 Ambari 不支持在 GUI 上面卸载已安装的 Service

  guyuanli Hadoop 2884 2016-04-20 17:00

• 安装ambari的时候遇到的ambari和hadoop问题集

  5.在安装的时候遇到的问题5.1使用ambari-server start的时候出现ERROR: Exiting with exit code -1.5.1.1REASON: Ambari Server java process died with exitcode 255. Check /var/log/ambari-server/ambari-server.out for more information解决：

  guyuanli Hadoop 37221 2016-04-20 16:58

• ambari2.2.1 for redhat6.6安装部署文档

  1. 准备工作（所有集群中的主机）1.1兼容性使用此表，以确定是否你的ambari和HDP的版本兼容。ambari不安装hue或Solr。

  guyuanli Hadoop 2628 2016-04-20 16:55

• Hadoop2.7实战v1.0之Hive-2.0.0+MySQL远程模式安装

  hadoop,hive

  hackeruncle Hadoop 2134 2016-04-17 15:41

• CDH5之Found class jline.Terminal, but interface was expected

  一.背景:       公司CDH5集群已经部署完毕,需要通过web界面添加hive组件,一般来说通过web界面来添加,会报两个错误,一个是配置hive的元数据的/usr/share/java/mysql-connector-java.jar驱动包,还有一个错误就是如图: 二.错误明细: ++ exec /opt/cloudera/parcels/CDH/lib/hadoop/bin/hadoop j...

  hackeruncle Hadoop 1843 2016-04-15 22:39

• hive开窗函数

  银行会员流水为例：create table hive_sum(id string COMMENT '会员ID',bank_name string COMMENT '银行名称',create_time string COMMENT '交易时间',amount double COMMENT '交易金额')COMMENT 'hive_sum顶级应用'ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'LINES TERMINATED BY '\n';load data local inpat...

  coolandbright Hadoop 1704 2016-04-11 11:59

• 自定义实现Mapreduce计算的key类型

  1. 在进行mapreduce编程时key键往往用于分组或排序，当我们在进行这些操作时Hadoop内置的key键数据类型不能满足需求时，或针对用例优化自定义数据类型可能执行的更好。因此可以通过实现org.apache.hadoop.io.WritableComparable接口定义一个自定义的WritableComparable类型，并使其作为mapreduce计算的key类型。2.自定...

  熊深圳 Hadoop 5819 2016-04-10 14:01