ITPub博客

首页 > 大数据 > Hadoop > hadoop 初学环境搭建 1

hadoop 初学环境搭建 1

Hadoop 作者:yagamiww 时间:2014-01-20 21:35:43 0 删除 编辑
最近闲着没事开始学习hadoop,学习之初状况:对linux命令只有较少了解+精通java(hadoop在win环境下也可以模拟,但是毕竟不是原生的)。

搭建hadoop的模式有三种
  • 单机模式,单机模式是指在只有一个节点,在win和linux操作系统下都行,但是在win下需要使用cygwin来模拟unix环境;
  • 伪分布模式,伪分布模式是指在一台机器上使用虚拟机(VM或VBOX)同时模拟多个系统(节点),因为并不存在事实的节点,所以称为伪分布模式,由于硬件条件的限制,我模拟的就是这种情况,但是配置各种条件比较麻烦;
  • 完全分布模式,是真正的存在多个节点,准备完成之后在实验室找硬件搭建环境。
由于没有过多linux的学习经验,所以是一般看一边学的,所以略显坎坷。

  • 安装jdk
hadoop是基于java的,所以需要首先安装java环境,这样的java语言的较好的移植性也体现出来了,安装jdk的方式有两种,一种是在linux中使用wget命令,在sun公司的页面获取链接直接下载然后再解压安装,另一种方式较为简单,就是直接在linux的应用中心中安装。

测试成功标准,输入java命令有提示,

安装成功了,但是后面需要用到jdk的安装路径,因为我选择的是自动安装方式,所以不知道路径,这样也浪费了很多时间,网上说法总说纷纭,最后我是在/usr/lib/jvm/java-6-openjdk下找到的

在这个过程中可能用到的命令有
which java 查找
find -name java 查找当前目录下名字中带有java的文件

  • 多台虚拟机之间的通信
我创建了两个节点,分别如下:
ubuntu 主节点 master 192.168.111.128
unbutu_1 次节点 数据节点 192.168.111.132

首先在主节点中链接次节点(反之类似),使用命令:
ssh 192.168.111.132(次节点的ip)
这其中需要注意两个问题很重要:
  • 权限,我是使用root用户做的
  • 防火墙,很多情况都是因为防火墙没有关闭的原因,(在后面讲到)
ssh是需要安转的,在输入命令之后,如果第一次使用根绝提示安装即可

但是遇到一个问题,就是每次连接都需要输入目标主机的密码,这就需要rsa验证了,rsa在密码学中学到过,只会用即可,

使用命令ssh_keygen -t rsa 在主机1上生产密码,
讲生产的密码拷贝到主机2上当做验证密码,使用命令scp拷贝
完成后再连接就不需要每次都输入密码

  • 安装hadoop
hadoop就是一个分布式开源框架,现在我们分布式拓扑结构搭建完成,就剩搭建hadoop了,首先在官网下载,需要下载稳定版本(stable)的,解压安装即可,

解压命令tar -xzvf ....

hadoop安装之后需要进行一系列的配置,而且配置比较麻烦,等学完之后再贴上来。

李小豪
2014年1月19日

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/23927218/viewspace-1119845/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2010-05-17