首页 > 大数据 > Hadoop > linux下安装hadoop
准备工作:
1、把centos的ip设置成静态获取
需要修改的文件常有
/etc/sysconfig/network
/etc/sysconfig/network-scripts/ifcfg-eth0
/etc/resolv.conf
以下是我的设置
1)/etc/sysconfig/network这里主要是指定了网关
NETWORKING=yes
NETWORKING_IPV6=no
GATEWAY=10.17.255.254
HOSTNAME=localhost.localdomain
2)/etc/sysconfig/network-scripts/ifcfg-eth0这里主要指定IP获得方式(static),ip地址,子网掩码,网络类型
# Broadcom Corporation NetXtreme BCM5721 Gigabit Ethernet PCI
Express
DEVICE=eth0
#BOOTPROTO=dhcp
BOOTPROTO=static
IPADDR=10.17.11.X
NETMASK=255.255.0.0
TYPE=Ethernet
HWADDR=XX:XX:XX:XX:XX:XX
ONBOOT=yes
3)/etc/resolv.conf指定DNS(我在这里就吃了亏,没设置前网络地址怎么也无法解析)
nameserver
10.100.1.12
nameserver 10.100.1.13
2、把虚拟机ip设置成静态获取
/etc/network/interfaces
/etc/network/interface
安装步骤:
1、安装ubuntu8.04
更新源修改(方便以后更新提高速度,教育网可以参考如下网址):
http://hi.baidu.com/itdreams2009/blog/item/dae1cf1208b53e8a6438dbac
创建用户:为了操作的简便,在所有机器上创建相同用户名和相同密码的用户。本例创
建了相同的用户hexianghui。
修改机器名:$ hostname 机器名。修改方法参考文档:
http://simon790916.blog.163.com/blog/static/680550312008481822419/
在/etc/hosts 中添加机器名和相应的IP:
2、开启ssh 服务
安装openssh-server:$ sudo apt-get install openssh-server
注意:自动安装openssh-server 时,先要进行sudo apt-get update 操作。
可以在windows 下用SSH Secure Shell
Client(详见附录)来测试一下:输入密码后能正常进入,就可以实现远程登录和管理了。
3、建立ssh 无密码登录
(1)在NameNode 上实现无密码登录本机:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa ,
直接回车,完成后会在~/.ssh/生成两个文件:id_dsa 和id_dsa.pub。这两个是成对
出现,类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys
文件):$ cat ~/.ssh/id_dsa.pub >>
~/.ssh/authorized_keys。完成后可以实现无密码
登录本机:$ ssh localhost。
(2)实现NameNode 无密码登录其他DataNode:
把NameNode 上的id_dsa.pub 文件追加到dataNode 的authorized_keys 内( 以
192.168.0.3 节点为例):
a. 拷贝NameNode 的id_dsa.pub 文件:
$ scp id_dsa.pub hexianghui@192.168.0.3:/home/hexianghui/
b. 登录192.168.0.3,执行$ cat id_dsa.pub
>> .ssh/authorized_keys
其他的dataNode 执行同样的操作。
注意:如果配置完毕,如果namenode 依然不能访问datanode,可以修改datanode 的authorized_keys:$
chmod 600 authorized_keys。
4、关闭防火墙
$ sudo ufw disable
注意:这步非常重要。如果不关闭,会出现找不到datanode 问题。
5、安装jdk1.6
下载地址:http://java.sun.com/javase/downloads/widget/jdk6.jsp,下载后,直接
安装。本例的安装路径为/home/hexianghui/jdk1.6.0_14。
安装后,添加如下语句到/etc/profile 中:
export JAVA_HOME=/home/hexianghui/jdk1.6.0_14
export JRE_HOME=/home/hexianghui/jdk1.6.0_14/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
注意:每台机器的java 环境最好一致。安装过程中如有中断,切换为root 权限来安装。
6、安装hadoop
下载hadoop-0.20.1.tar.gz:
http://labs.xiaonei.com/apache-mirror/hadoop/core/hadoop-0.20.1/hadoop-
0.20.1.tar.gz
解压:$ tar –zvxf hadoop-0.20.1.tar.gz
把Hadoop 的安装路径添加到环/etc/profile 中:
export HADOOP_HOME=/home/hexianghui/hadoop-0.20.1export
PATH=$HADOOP_HOME/bin:$PATH
7、配置hadoop
hadoop 的主要配置都在hadoop-0.20.1/conf 下。
(1)在conf/hadoop-env.sh 中配置Java 环境(namenode 与datanode 的配置相同):
$ gedit hadoop-env.sh
$ export JAVA_HOME=/home/hexianghui/jdk1.6.0_14
(2)配置conf/masters 和conf/slaves 文件:(只在namenode 上配置)
masters: 192.168.0.4
slaves:
192.168.0.3
192.168.0.5
(3)配置conf/core-site.xml, conf/hdfs-site.xml
及conf/mapred-site.xml(简单配
置,datanode 的配置相同)
core-site.xml:
<!--- global properties -->
<!-- file systemproperties -->
hdfs-site.xml:( replication 默认为3,如果不修改,datanode 少于三台就会报错)
mapred-site.xml:
8、运行hadoop
进入hadoop-0.20.1/bin,首先格式化文件系统:$
hadoop namenode –format
启动Hadoop:$ start-all.sh
用jps 命令查看进程,NameNode 上的结果如下:
DataNode 上的结果:
查看集群状态:$ hadoop dfsadmin -report
Hadoop 的web 方式查看:http://192.168.0.4:50070
9、运行wordcount.java 程序
(1)先在本地磁盘建立两个输入文件file01 和file02:
$ echo “Hello World Bye World” > file01
$ echo “Hello Hadoop Goodbye Hadoop” > file02
(2)在hdfs 中建立一个input 目录:$ hadoop fs –mkdir input
(3)将file01 和file02 拷贝到hdfs 中:
$ hadoop fs –copyFromLocal /home/hexianghui/soft/file0* input
(4)执行wordcount:
$ hadoop jar hadoop-0.20.1-examples.jar wordcount input
output
(5)完成之后,查看结果:
$ hadoop fs -cat output/part-r-00000
、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、10、安装apache
| 1)CFLAGS=-DBIG_SECURITY_HOLE ./configure && make && make file 就可以在httpd.conf中使用root用户 |
configure: error: C compiler cannot create executables
2)./configure的问题
错误: C compiler cannot create executables
原因:
解决:sudo apt-get install gcc libc6-dev //我就是执行了这条命令,解决了问题..
11、安装php
1)安装php时的报错
checking libxml2 install dir... no
checking for xml2-config path...
configure: error: xml2-config not found. Please check your libxml2
installation.
解决:检查是否安装了libxm包
apt-get install libxml2
apt-get
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/21398694/viewspace-1114395/ ,如需转载,请注明出处,否则将追究法律责任。