ITPub博客

首页 > 大数据 > Hadoop > linux下安装hadoop

linux下安装hadoop

Hadoop 作者:dcba321 时间:2012-05-18 10:19:33 0 删除 编辑

准备工作:

1、把centos的ip设置成静态获取

需要修改的文件常有

/etc/sysconfig/network
/etc/sysconfig/network-scripts/ifcfg-eth0
/etc/resolv.conf

以下是我的设置
1)/etc/sysconfig/network这里主要是指定了网关

NETWORKING=yes
NETWORKING_IPV6=no
GATEWAY=10.17.255.254
HOSTNAME=localhost.localdomain

2)/etc/sysconfig/network-scripts/ifcfg-eth0这里主要指定IP获得方式(static),ip地址,子网掩码,网络类型

# Broadcom Corporation NetXtreme BCM5721 Gigabit Ethernet PCI Express
DEVICE=eth0
#BOOTPROTO=dhcp
BOOTPROTO=static
IPADDR=10.17.11.X
NETMASK=255.255.0.0
TYPE=Ethernet
HWADDR=XX:XX:XX:XX:XX:XX
ONBOOT=yes
3)/etc/resolv.conf指定DNS(我在这里就吃了亏,没设置前网络地址怎么也无法解析)
nameserver 10.100.1.12

nameserver 10.100.1.13

2、把虚拟机ip设置成静态获取

/etc/network/interfaces

/etc/network/interface

       auto eth1
       #iface eth1 inet dhcp
       iface eth1 inet static
       address 10.17.11.8
       network 10.17.11.0
       netmask 255.255.0.0
       gateway 10.17.255.254

安装步骤:
1、安装ubuntu8.04
更新源修改(方便以后更新提高速度,教育网可以参考如下网址):
http://hi.baidu.com/itdreams2009/blog/item/dae1cf1208b53e8a6438dbac.html
创建用户:为了操作的简便,在所有机器上创建相同用户名和相同密码的用户。本例创
建了相同的用户hexianghui。
修改机器名:$ hostname 机器名。修改方法参考文档:
http://simon790916.blog.163.com/blog/static/680550312008481822419/
在/etc/hosts 中添加机器名和相应的IP:
2、开启ssh 服务
安装openssh-server:$ sudo apt-get install openssh-server
注意:自动安装openssh-server 时,先要进行sudo apt-get update 操作。
可以在windows 下用SSH Secure Shell Client(详见附录)来测试一下:输入密码后能正常进入,就可以实现远程登录和管理了。
3、建立ssh 无密码登录
(1)在NameNode 上实现无密码登录本机:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa ,
直接回车,完成后会在~/.ssh/生成两个文件:id_dsa 和id_dsa.pub。这两个是成对
出现,类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys
文件):$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys。完成后可以实现无密码
登录本机:$ ssh localhost。
(2)实现NameNode 无密码登录其他DataNode:
把NameNode 上的id_dsa.pub 文件追加到dataNode 的authorized_keys 内( 以
192.168.0.3 节点为例):
a. 拷贝NameNode 的id_dsa.pub 文件:
$ scp id_dsa.pub
hexianghui@192.168.0.3:/home/hexianghui/
b. 登录192.168.0.3,执行$ cat id_dsa.pub >> .ssh/authorized_keys
其他的dataNode 执行同样的操作。
注意:如果配置完毕,如果namenode 依然不能访问datanode,可以修改datanode 的authorized_keys:$ chmod 600 authorized_keys。
4、关闭防火墙
$ sudo ufw disable
注意:这步非常重要。如果不关闭,会出现找不到datanode 问题。
5、安装jdk1.6
下载地址:
http://java.sun.com/javase/downloads/widget/jdk6.jsp,下载后,直接
安装。本例的安装路径为/home/hexianghui/jdk1.6.0_14。
安装后,添加如下语句到/etc/profile 中:
export JAVA_HOME=/home/hexianghui/jdk1.6.0_14
export JRE_HOME=/home/hexianghui/jdk1.6.0_14/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
注意:每台机器的java 环境最好一致。安装过程中如有中断,切换为root 权限来安装。
6、安装hadoop
下载hadoop-0.20.1.tar.gz:
http://labs.xiaonei.com/apache-mirror/hadoop/core/hadoop-0.20.1/hadoop-
0.20.1.tar.gz
解压:$ tar –zvxf hadoop-0.20.1.tar.gz
把Hadoop 的安装路径添加到环/etc/profile 中:
export HADOOP_HOME=/home/hexianghui/hadoop-0.20.1export PATH=$HADOOP_HOME/bin:$PATH
7、配置hadoop
hadoop 的主要配置都在hadoop-0.20.1/conf 下。
(1)在conf/hadoop-env.sh 中配置Java 环境(namenode 与datanode 的配置相同):
$ gedit hadoop-env.sh
$ export JAVA_HOME=/home/hexianghui/jdk1.6.0_14
(2)配置conf/masters 和conf/slaves 文件:(只在namenode 上配置)
masters: 192.168.0.4
slaves:
192.168.0.3
192.168.0.5
(3)配置conf/core-site.xml, conf/hdfs-site.xml 及conf/mapred-site.xml(简单配
置,datanode 的配置相同)
core-site.xml:

<!--- global properties -->

hadoop.tmp.dir
/home/hexianghui/tmp
A base for other temporary directories.

<!-- file systemproperties -->

fs.default.name
hdfs://192.168.0.4:9000


hdfs-site.xml:( replication 默认为3,如果不修改,datanode 少于三台就会报错)


dfs.replication
1


mapred-site.xml:


mapred.job.tracker
192.168.0.4:9001

8、运行hadoop

进入hadoop-0.20.1/bin,首先格式化文件系统:$ hadoop namenode –format
启动Hadoop:$ start-all.sh
用jps 命令查看进程,NameNode 上的结果如下:
DataNode 上的结果:
查看集群状态:$ hadoop dfsadmin -report
Hadoop 的web 方式查看:
http://192.168.0.4:50070

9、运行wordcount.java 程序
(1)先在本地磁盘建立两个输入文件file01 和file02:
$ echo “Hello World Bye World” > file01
$ echo “Hello Hadoop Goodbye Hadoop” > file02
(2)在hdfs 中建立一个input 目录:$ hadoop fs –mkdir input
(3)将file01 和file02 拷贝到hdfs 中:
$ hadoop fs –copyFromLocal /home/hexianghui/soft/file0* input
(4)执行wordcount:
$ hadoop jar hadoop-0.20.1-examples.jar wordcount input output
(5)完成之后,查看结果:
$ hadoop fs -cat output/part-r-00000

、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、10、安装apache

apache想把用户改成root

 
1)CFLAGS=-DBIG_SECURITY_HOLE ./configure && make && make file
就可以在httpd.conf中使用root用户

configure: error: C compiler cannot create executables

2)./configure的问题

错误: C compiler cannot create executables
原因:
解决:sudo apt-get install gcc libc6-dev //我就是执行了这条命令,解决了问题..
11、安装php

1)安装php时的报错

checking libxml2 install dir... no
checking for xml2-config path...
configure: error: xml2-config not found. Please check your libxml2 installation.

 

解决:检查是否安装了libxm包

apt-get install libxml2

apt-get install libxml2-dev


 

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/21398694/viewspace-1114395/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2009-04-16