ITPub博客
首页 博客 专栏 学院 社区 IT新媒体评选
发博

首页 > 大数据 > Hadoop > hadoop 2.6.2 部署集群 for redhat 7 (3个节点）

hadoop 2.6.2 部署集群 for redhat 7 (3个节点）

原创 Hadoop 作者：xiaoyan5686670 时间：2015-12-25 11:30:06 0 删除 编辑
以root用户登录 
1.创建hadoop用户
useradd hadoop 
passwd hadoop
2.配置 sudo 

chmod +w /etc/sudoers


vi /etc/sudoers 


hadoop ALL=(root)NOPASSWD:ALL 


chmod -w /etc/sudoers


3.配置JAVA(hadoop用户运行）



	将下载好的安装包解压到 /usr/java/jdk1.7，然后设置环境变量，命令如下：





	

sudo vi /etc/profile





	　　然后编辑配置，内容如下：





export JAVA_HOME=/usr/java/jdk1.7 export PATH=$PATH:$JAVA_HOME/bin





	　　然后使环境变量立即生效，命令如下：





source /etc/profile





	　　然后验证JDK是否配置成功，命令如下：





java -version



4.配置/etc/hosts(3台机器保持一致）




192.168.182.133  qxy1
192.168.182.134  qxy2
192.168.182.135  qxy3 


5.配置SSH(HADOOP用户）



	　　输入如下命令：





	

ssh-keygen –t rsa





	　　然后一路按回车键，最后在将id_rsa.pub写到authorized_keys，命令如下：





cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys





	　　在hadoop用户下，需要给authorized_keys赋予600的权限，不然免密码登陆无效。在其他节点只需要使用 ssh-keygen –t rsa 命令，生产对应的公钥，然后将各个节点的id_rsa.pub追加到nna节点的authorized_keys中。最后，将nna节点下的authorized_keys文件通过scp命令，分发到各个节点的 ~/.ssh/ 目录下。目录如下：





# 这里以NNS节点为例子 scp ~/.ssh/authorized_keys hadoop@qxy2:~/.ssh/





	　　然后使用ssh命令相互登录，看是否实现了免密码登录，登录命令如下：





# 这里以nns节点为例子 ssh qxy2





	　　若登录过程中木有提示需要输入密码，即表示密码配置成功。



6.关闭防火墙（3台用户均执行 root）

systemctl disable firewalld

同时，也需要关闭SELinux，可修改 /etc/selinux/config 文件，将其中的 SELINUX=enforcing 改为 SELINUX=disabled即可。



7.配置zookeeper (可省略)




	　将下载好的安装包，解压到指定位置，这里为直接解压到当前位置，命令如下：





tar -zxvf zk-{version}.tar.gz





	　　修改zk配置，将zk安装目录下conf/zoo_sample.cfg重命名zoo.cfg，修改其中的内容：




	

		复制代码
	


# The number of milliseconds of each tick
# 服务器与客户端之间交互的基本时间单元（ms） 
tickTime=2000 # The number of ticks that the initial  
# synchronization phase can take 
# zookeeper所能接受的客户端数量 
initLimit=10 # The number of ticks that can pass between  
# sending a request and getting an acknowledgement 
# 服务器和客户端之间请求和应答之间的时间间隔 
syncLimit=5 # the directory where the snapshot is stored. 
# do not use /tmp for storage, /tmp here is just  
# example sakes. 
# 保存zookeeper数据，日志的路径
dataDir=/home/hadoop/data/zookeeper

# the port at which the clients will connect 
# 客户端与zookeeper相互交互的端口 
clientPort=2181 server.1= dn1:2888:3888 server.2= dn2:2888:3888 server.3= dn3:2888:3888 #server.A=B:C:D  其中A是一个数字，代表这是第几号服务器；B是服务器的IP地址；C表示服务器与群集中的“领导者”交换信息的端口；当领导者失效后，D表示用来执行选举时服务器相互通信的端口。

	

		复制代码
	





	　　接下来，在配置的dataDir目录下创建一个myid文件，里面写入一个0-255之间的一个随意数字，每个zk上这个文件的数字要是不一样的，这些数字应该是从1开始，依次写每个服务器。文件中序号要与dn节点下的zk配置序号一直，如：server.1=dn1:2888:3888，那么dn1节点下的myid配置文件应该写上1。



8.启动zookeeper




	　　分别在各个节点启动zk进程，命令如下：





bin/zkServer.sh start





	





	






	输入zk的状态命令查看，命令如下：





bin/zkServer.sh status





	　　会出现一个leader和两个follower。


9.下载hadoop-2.6.2.tar.gz，并将其解压/home/hadoop

tar -zxvf hadoop-2.6.2.tar.gz



10.

【3台机器上均要执行，一般先在一台机器上配置完成，再用scp复制到其它机器】 

（1）hadoop_env.sh 

export JAVA_HOME=/usr/java/jdk1.7.0_51  



（2）修改core-site.xml




 


	
	

		
		

			点击(此处)折叠或打开
		


	


	

		
		
    
			
			
  1. 
				<configuration> 
			
    2. 

			
  2. 
				        <property> 
			
    3. 

			
  3. 
				                <name>hadoop.tmp.dir</name> 
			
    4. 

			
  4. 
				                <value>/home/hadoop/tmp</value> 
			
    5. 

			
  5. 
				                <description>Abase for other temporary directories.</description> 
			
    6. 

			
  6. 
				        </property> 
			
    7. 

			
  7. 
				        <property> 
			
    8. 

			
  8. 
				                <name>fs.defaultFS</name> 
			
    9. 

			
  9. 
				                <value>hdfs://qxy1:9000</value> 
			
    10. 

			
  10. 
				        </property> 
			
    11. 

			
  11. 
				        <property> 
			
    12. 

			
  12. 
				                <name>io.file.buffer.size</name> 
			
    13. 

			
  13. 
				                <value>4096</value> 
			
    14. 

			
  14. 
				        </property> 
			
    15. 

			
  15. 
				</configuration>
			
    16. 

		


	




（3）hdfs-site.xml 





	

		

			点击(此处)折叠或打开
		

	

	

		
    
			
  1. 
				<configuration>
    
    
			
    2. 
			
  2. 
				        <property>
    
			
    3. 
			
  3. 
				                <name>dfs.replication</name>
    
			
    4. 
			
  4. 
				                <value>2</value>
    
			
    5. 
			
  5. 
				        </property>
    
			
    6. 
			
  6. 
				</configuration>
			
    7. 
		

	



(4) mapred-site.xml





	

		

			点击(此处)折叠或打开
		

	

	

		
    
			
  1. 
				<configuration>
    
    
			
    2. 
			
  2. 
				       <property>
    
			
    3. 
			
  3. 
				                <name>mapreduce.framework.name</name>
    
			
    4. 
			
  4. 
				                <value>yarn</value>
    
			
    5. 
			
  5. 
				                <final>true</final>
    
			
    6. 
			
  6. 
				        </property>
    
			
    7. 
			
  7. 
				
    
			
    8. 
			
  8. 
				    <property>
    
			
    9. 
			
  9. 
				        <name>mapreduce.jobtracker.http.address</name>
    
			
    10. 
			
  10. 
				        <value>qxy1:50030</value>
    
			
    11. 
			
  11. 
				    </property>
    
			
    12. 
			
  12. 
				    <property>
    
			
    13. 
			
  13. 
				        <name>mapreduce.jobhistory.address</name>
    
			
    14. 
			
  14. 
				        <value>qxy1:10020</value>
    
			
    15. 
			
  15. 
				    </property>
    
			
    16. 
			
  16. 
				    <property>
    
			
    17. 
			
  17. 
				        <name>mapreduce.jobhistory.webapp.address</name>
    
			
    18. 
			
  18. 
				        <value>qxy1:19888</value>
    
			
    19. 
			
  19. 
				    </property>
    
			
    20. 
			
  20. 
				        <property>
    
			
    21. 
			
  21. 
				                <name>mapred.job.tracker</name>
    
			
    22. 
			
  22. 
				                <value>http://qxy1:9001</value>
    
			
    23. 
			
  23. 
				        </property>
    
			
    24. 
			
  24. 
				</configuration>
			
    25. 
		

	





（5）yarn_site.xml






	

		

			点击(此处)折叠或打开
		

	

	

		
    
			
  1. 
				<property>
    
    
			
    2. 
			
  2. 
				                <name>yarn.resourcemanager.hostname</name>
    
			
    3. 
			
  3. 
				                <value>qxy1</value>
    
			
    4. 
			
  4. 
				        </property>
    
			
    5. 
			
  5. 
				
    
			
    6. 
			
  6. 
				    <property>
    
			
    7. 
			
  7. 
				        <name>yarn.nodemanager.aux-services</name>
    
			
    8. 
			
  8. 
				        <value>mapreduce_shuffle</value>
    
			
    9. 
			
  9. 
				    </property>
    
			
    10. 
			
  10. 
				    <property>
    
			
    11. 
			
  11. 
				        <name>yarn.resourcemanager.address</name>
    
			
    12. 
			
  12. 
				        <value>qxy1:8032</value>
    
			
    13. 
			
  13. 
				    </property>
    
			
    14. 
			
  14. 
				    <property>
    
			
    15. 
			
  15. 
				        <name>yarn.resourcemanager.scheduler.address</name>
    
			
    16. 
			
  16. 
				        <value>qxy1:8030</value>
    
			
    17. 
			
  17. 
				    </property>
    
			
    18. 
			
  18. 
				    <property>
    
			
    19. 
			
  19. 
				        <name>yarn.resourcemanager.resource-tracker.address</name>
    
			
    20. 
			
  20. 
				        <value>qxy1:8031</value>
    
			
    21. 
			
  21. 
				    </property>
    
			
    22. 
			
  22. 
				    <property>
    
			
    23. 
			
  23. 
				        <name>yarn.resourcemanager.admin.address</name>
    
			
    24. 
			
  24. 
				        <value>qxy1:8033</value>
    
			
    25. 
			
  25. 
				 </property>
    
			
    26. 
			
  26. 
				    <property>
    
			
    27. 
			
  27. 
				        <name>yarn.resourcemanager.webapp.address</name>
    
			
    28. 
			
  28. 
				        <value>qxy1:8088</value>
    
			
    29. 
			
  29. 
				    </property>
			
    30. 
		

	



(6) 修改slaves


qxy2
qxy3
（7） 将配置好的hadoop文件SCP到其他两个节点


$ scp -r /home/hadoop/hadoop-2.6.2 hadoop@qxy2:/home/hadoop/




$ scp -r /home/hadoop/hadoop-2.6.2 hadoop@qxy3:/home/hadoop/


(8) 验证


1、格式 化namenode (3个节点都需要验证) $  bin/hadoop namenode -format   2、启动hadoop【此步骤只需要在master上执行】 [jediael@master hadoop-1.2.1]$ bin/start-all.sh    3、验证1：向hdfs中写入内容 节点1 $ bin/hadoop fs -ls / $ bin/hadoop fs -mkdir /test ]$ bin/hadoop fs -ls /        Found 1 items drwxr-xr-x   - jediael supergroup          0 2015-04-19 23:41 /test 4、验证：登录页面 NameNode    http://主节点:50070   


 http://192.168.182.133:8088   集群状态查看。与yarn-site.xml配置文件有关系。 5、查看各个主机的java进程  （1）master:  $ jps  3694 NameNode 3882 SecondaryNameNode 7216 Jps 4024 ResourceManager


	







	（2）slave1: 
$ jps 
1913 NodeManager
2673 Jps
1801 DataNode





	（3）slave3: 
$ jps 
1942 NodeManager
2252 Jps
1840 DataNode 









   


 

 

 

                                                    

                                        

                    
                    

                                                    来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/22569416/viewspace-1961175/
                            ，如需转载，请注明出处，否则将追究法律责任。
                                            


                

            

                            

                    
                    
0

                    
0

                    

                


                

                    

                        上一篇：
                                                    oracle linux 7 关闭防火墙
                        
                    

                    

                        下一篇：
                                                    redhat as 7 配置zookeeper
                                            

                


                


                
                

                    

                        
                        
                        
                            
                        

                        

                            请登录后发表评论
                            
                                登录
                            
                        


                        
                        


                    

                    

                        
全部评论 
                        

                        

                            
                        


                    


                

                
                    

        
        

            
            


        

        
    

    
xiaoyan5686670

            

        
    

            
注册时间：2012-07-25

            
    
        
  • 
            
    博文量
    
            108
        
    • 
        
  • 
            
    访问量
    
            
    276032
    
        
    • 
    






            

                            
                

                    
最新文章

                    

                
                    

    

    

    

    
            
    



    

        

            
                

                    
                

            
            
        

        

            支持我们
            作者招募
            用户协议
            FAQ
            Contact Us
            
        

        
北京盛拓优讯信息技术有限公司. 版权所有  京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号：11010802021510  niuxiaotong@pcpop.com  17352615567
             未成年人举报专区

        
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员

        
违法和不良信息举报电话:18101376593