-
编辑 删除
linux各种类型包的安装与卸载
(1)rpm –ivh rpm的软件包名 rpm参数 参数说明 -i 安装软件 -t 测试安装，不是真的安装 -p 显示安装进度 -f 忽略任何错误 -U 升级安装 -v 检测套件是否正确安装 -e 卸载(2) deb包安装方式步骤 1. 安装 dpkg –i deb的软件包名 如：dpkg –i software-...
-
编辑 删除
hive的安装
以下操作在hdpsrc3 节点上操作一，下载安装包1，下载hive?http://mirrors.hust.edu.cn/apache/? ?得到apache-hive-1.1.0.tar.gz ?，放到该目录下 /home/hdpsrc/?2，下载mysql ??http://dev.mysql.com/downloads/mysql/5.5.html#downloads? ?得到?mysq...
-
编辑 删除
mysql的安装
mysql安装
-
编辑 删除
hadoop日志查看
1.检查自己的配置文件core-site.xml,yarn-site.xml,mapred-site.xml地址是否错误。2.在windows下C:\Windows\System32\drivers\etc\hosts，找到HOSTS这个文件，添加映射地址，如果不添加，在访问日志的History时会报错3.关闭防火墙 /etc/init.d/iptables stop 4.访问 http://192.168.1.120:...
-
编辑 删除
hadoop启动后无namenode
一般都是由于两次或两次以上格式化NameNode造成的，有两种方法可以解决： 1.删除DataNode的所有资料 2.修改每个DataNode的namespaceID(位于/home/hdfs/data/current/VERSION文件中)或修改NameNode的namespaceID(位于/home/hdfs/name/current/VERSION文件中)， 目的是两者一致。 但是查看...
-
编辑 删除
hadoop 的wordcount java实验
1.导入hadoop需要用到的包hadoop-2.4.2/share/hadoop/mapreduce/*.jarhadoop-2.4.2/share/hadoop/mapreduce/lib/*.jarhadoop-2.4.2/share/hadoop/common/*.jarhadoop-2.4.2/share/hadoop/common/lib/*.jar2.编写java程序package demo;import java.io.IOException;import java.util.*;import o...
-
编辑 删除
hadoop安装文件配置
1.目前只是单机环境，namenode和datanode都在一台机器。hadoop版本选的是2.7.2，jdk选的是jdk-8u131-linux-64.rpm2.安装jdk rpm -ivh jdk-8u111-linux-x64.rpm 3.安装密钥ssh -keygen -t rsa 在root目录下会自动生成.ssh目录 4.把公钥写到authorized_keys里面 ...
-
编辑 删除
使用eclipse连接hadoop时，一直提示无法连接
1.使用eclipse创建hadoop连接时，报如下错误Retrying connect to server: 192.168.1.120/192.168.1.120:9000. Already tried 7 time(s); maxRetries=452.检查自己的core-site.xml是否与java程序中namenode的名称和地址一致<configuration> <property> <name>fs.defaultFS</name> &n...
-
编辑 删除
eclipse搭建hadoop环境
一、安装Eclipse 下载Eclipse，解压安装，例如安装到/usr/local，即/usr/local/eclipse 4.3.1版本下载地址：http://pan.baidu.com/s/1eQkpRgu二、在eclipse上安装hadoop插件 1、下载hadoop插件 ...
-
编辑 删除
hadoop启动后提示警告信息
启动hadoop时提示警告信息17/08/15 12:04:14 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable1.进入hadoop安装目录cd /hadoop_soft/hadoop-2.7.2/lib/native2.用ldd命令查看依赖库 3.可以看到依赖的都...
-
编辑 删除
hadoop运行自带实例
1.找到examples的jar包2.创建输入和输出目录3.将需要分隔的文件上传到wc_input目录下4.查看上传的文件5.hadoop jar /hadoop_soft/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /wc_input/* /wc_output/ [root@hadoop input]# hadoop ja...
