ITPub博客

关于 “Hadoop” 的内容如下：

• hadoop日志查看

  1.检查自己的配置文件core-site.xml,yarn-site.xml,mapred-site.xml地址是否错误。2.在windows下C:\Windows\System32\drivers\etc\hosts，找到HOSTS这个文件，添加映射地址，如果不添加，在访问日志的History时会报错3.关闭防火墙    /etc/init.d/iptables stop 4.访问 http://192.168.1.120:...

  fengwuying121 Hadoop 1070 2017-08-25 16:05

• hadoop启动后无namenode

  一般都是由于两次或两次以上格式化NameNode造成的，有两种方法可以解决： 1.删除DataNode的所有资料 2.修改每个DataNode的namespaceID(位于/home/hdfs/data/current/VERSION文件中)或修改NameNode的namespaceID(位于/home/hdfs/name/current/VERSION文件中)， 目的是两者一致。 但是查看...

  fengwuying121 Hadoop 1964 2017-08-23 16:33

• hadoop 的wordcount java实验

  1.导入hadoop需要用到的包hadoop-2.4.2/share/hadoop/mapreduce/*.jarhadoop-2.4.2/share/hadoop/mapreduce/lib/*.jarhadoop-2.4.2/share/hadoop/common/*.jarhadoop-2.4.2/share/hadoop/common/lib/*.jar2.编写java程序package demo;import java.io.IOException;import java.util.*;import o...

  fengwuying121 Hadoop 592 2017-08-23 16:25

• hadoop安装文件配置

  1.目前只是单机环境，namenode和datanode都在一台机器。hadoop版本选的是2.7.2，jdk选的是jdk-8u131-linux-64.rpm2.安装jdk rpm -ivh jdk-8u111-linux-x64.rpm 3.安装密钥ssh -keygen -t rsa 在root目录下会自动生成.ssh目录 4.把公钥写到authorized_keys里面 ...

  fengwuying121 Hadoop 262 2017-08-16 16:41

• 使用eclipse连接hadoop时，一直提示无法连接

  1.使用eclipse创建hadoop连接时，报如下错误Retrying connect to server: 192.168.1.120/192.168.1.120:9000. Already tried 7 time(s); maxRetries=452.检查自己的core-site.xml是否与java程序中namenode的名称和地址一致<configuration> <property>   <name>fs.defaultFS</name> &n...

  fengwuying121 Hadoop 1708 2017-08-16 16:01

• eclipse搭建hadoop环境

  一、安装Eclipse    下载Eclipse，解压安装，例如安装到/usr/local，即/usr/local/eclipse     4.3.1版本下载地址：http://pan.baidu.com/s/1eQkpRgu二、在eclipse上安装hadoop插件    1、下载hadoop插件     ...

  fengwuying121 Hadoop 374 2017-08-16 14:55

• hadoop启动后提示警告信息

  启动hadoop时提示警告信息17/08/15 12:04:14 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable1.进入hadoop安装目录cd /hadoop_soft/hadoop-2.7.2/lib/native2.用ldd命令查看依赖库 3.可以看到依赖的都...

  fengwuying121 Hadoop 645 2017-08-15 16:11

• hadoop运行自带实例

  1.找到examples的jar包2.创建输入和输出目录3.将需要分隔的文件上传到wc_input目录下4.查看上传的文件5.hadoop jar /hadoop_soft/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /wc_input/* /wc_output/ [root@hadoop input]# hadoop ja...

  fengwuying121 Hadoop 86 2017-08-15 14:19

• hadoop之 Zookeeper 分布式应用程序协调服务

  (1) Zookeeper 在 Hadoop 集群中的作用Zookeeper 是分布式管理协作框架，Zookeeper 集群用来保证 Hadoop 集群的高可用，（高可用的含义是：集群中就算有一部分服务器宕机，也能保证正常地对外提供服务。）(2) Zookeeper 保证高可用的原理Zookeeper 集群能够保证 NameNode 服务高可用的原理是：Hadoop 集群中有两个 ...

  张冲andy Hadoop 240 2017-08-13 17:39

• Hadoop 之 NameNode 元数据原理

   在对NameNode节点进行格式化时，调用了FSImage的saveFSImage()方法和FSEditLog.createEditLogFile()存储当前的元数据。Namenode主要维护两个文件，一个是fsimage，一个是editlog。fsimage ：保存了最新的元数据检查点，包含了整个HDFS文件系统的所有目录和文件的信息。对于文件来说包括了数据块描述信...

  张冲andy Hadoop 297 2017-08-13 12:59

• Hadoop体系结构之 Yarn

  1.1 YARN 基本架构YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。...

  张冲andy Hadoop 159 2017-08-12 19:12

• Hadoop体系结构之 Mapreduce

    MR框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点上的TaskTracker共同组成。主节点负责调度构成一个作业的所有任务，这些任务分布在不同的不同的从节点上。主节点监视它们的执行情况，并重新执行之前失败的任务。从节点仅负责由主节点指派的任务。当一个Job被提交时，JobTracker接受到提交作...

  张冲andy Hadoop 290 2017-08-12 19:11

• Hadoop体系结构之 HDFS

      HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改hadoop源代码实现的功能，在最新的版本中就已经实现了）。NameNode作为主服务器，管理文件系统命名空间和客户端对文件的访问操作。...

  张冲andy Hadoop 323 2017-08-12 19:10

• centos7 快速配置手册5

  介绍?centos7 快速配置手册1 描述如何对一个刚装好的centos7，进行快速配置，以便接下来安装hadoopcentos7 快速配置手册2 描述如何配置hadoopcentos7 快速配置手册3 描述如何配置hivecentos7 快速配置手册4 描述如何配置ogg for BigData 数据初始化从oracle 到 hdfscentos7 快速配置手册5 描述如何配置ogg for BigData 增量数据的同步从oracle 到 hdfs

  wmlm Hadoop 706 2017-07-24 16:35

• centos7 快速配置手册4

  介绍?centos7 快速配置手册1 描述如何对一个刚装好的centos7，进行快速配置，以便接下来安装hadoopcentos7 快速配置手册2 描述如何配置hadoopcentos7 快速配置手册3 描述如何配置hivecentos7 快速配置手册4 描述如何配置ogg for BigData 数据初始化从oracle 到 hdfscentos7 快速配置手册5 描述如何配置ogg for BigData 增量数据的同步从oracle 到 hdfs

  wmlm Hadoop 346 2017-07-24 16:30

• centos7 快速配置手册3

  介绍?centos7 快速配置手册1 描述如何对一个刚装好的centos7，进行快速配置，以便接下来安装hadoopcentos7 快速配置手册2 描述如何配置hadoopcentos7 快速配置手册3 描述如何配置hivecentos7 快速配置手册4 描述如何配置ogg for BigData 数据初始化从oracle 到 hdfscentos7 快速配置手册5 描述如何配置ogg for BigData 增量数据的同步从oracle 到 hdfs

  wmlm Hadoop 660 2017-07-24 16:28

• centos7 快速配置手册2

  介绍?centos7 快速配置手册1 描述如何对一个刚装好的centos7，进行快速配置，以便接下来安装hadoopcentos7 快速配置手册2 描述如何配置hadoopcentos7 快速配置手册3 描述如何配置hivecentos7 快速配置手册4 描述如何配置ogg for BigData 数据初始化从oracle 到 hdfscentos7 快速配置手册5 描述如何配置ogg for BigData 增量数据的同步从oracle 到 hdfs

  wmlm Hadoop 384 2017-07-24 16:26

• centos7 快速配置手册1

  介绍?centos7 快速配置手册1 描述如何对一个刚装好的centos7，进行快速配置，以便接下来安装hadoopcentos7 快速配置手册2 描述如何配置hadoopcentos7 快速配置手册3 描述如何配置hivecentos7 快速配置手册4 描述如何配置ogg for BigData 数据初始化从oracle 到 hdfscentos7 快速配置手册5 描述如何配置ogg for BigData 增量数据的同步从oracle 到 hdfs

  wmlm Hadoop 332 2017-07-24 16:24

• Kafka编程一

  点击(此处)折叠或打开import java.io.IOException;import java.text.MessageFormat;import java.util.*;import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;...

  tom_fans Hadoop 232 2017-07-13 18:26

• CDH集成YCSB测试工具

  parcel下载地址：

  tom_fans Hadoop 397 2017-07-04 17:41