最近闲着没事开始学习hadoop，学习之初状况：对linux命令只有较少了解+精通java（hadoop在win环境下也可以模拟，但是毕竟不是原生的）。
hadoop是基于java的，所以需要首先安装java环境，这样的java语言的较好的移植性也体现出来了，安装jdk的方式有两种，一种是在linux中使用wget命令，在sun公司的页面获取链接直接下载然后再解压安装，另一种方式较为简单，就是直接在linux的应用中心中安装。
<!-- 正文结束 -->
搭建hadoop的模式有三种
- 单机模式，单机模式是指在只有一个节点，在win和linux操作系统下都行，但是在win下需要使用cygwin来模拟unix环境；
- 伪分布模式，伪分布模式是指在一台机器上使用虚拟机（VM或VBOX）同时模拟多个系统（节点），因为并不存在事实的节点，所以称为伪分布模式，由于硬件条件的限制，我模拟的就是这种情况，但是配置各种条件比较麻烦；
- 完全分布模式，是真正的存在多个节点，准备完成之后在实验室找硬件搭建环境。
由于没有过多linux的学习经验，所以是一般看一边学的，所以略显坎坷。
- 安装jdk
测试成功标准，输入java命令有提示，
安装成功了，但是后面需要用到jdk的安装路径，因为我选择的是自动安装方式，所以不知道路径，这样也浪费了很多时间，网上说法总说纷纭，最后我是在/usr/lib/jvm/java-6-openjdk下找到的
在这个过程中可能用到的命令有
which java 查找
find -name java 查找当前目录下名字中带有java的文件
- 多台虚拟机之间的通信
我创建了两个节点，分别如下：
ubuntu 主节点 master 192.168.111.128
unbutu_1 次节点 数据节点 192.168.111.132
首先在主节点中链接次节点（反之类似），使用命令：
ssh 192.168.111.132（次节点的ip）
这其中需要注意两个问题很重要：
- 权限，我是使用root用户做的
- 防火墙，很多情况都是因为防火墙没有关闭的原因，（在后面讲到）
ssh是需要安转的，在输入命令之后，如果第一次使用根绝提示安装即可
但是遇到一个问题，就是每次连接都需要输入目标主机的密码，这就需要rsa验证了，rsa在密码学中学到过，只会用即可，
使用命令ssh_keygen -t rsa 在主机1上生产密码，
讲生产的密码拷贝到主机2上当做验证密码，使用命令scp拷贝
完成后再连接就不需要每次都输入密码
- 安装hadoop
hadoop就是一个分布式开源框架，现在我们分布式拓扑结构搭建完成，就剩搭建hadoop了，首先在官网下载，需要下载稳定版本（stable）的，解压安装即可，
解压命令tar -xzvf ....
hadoop安装之后需要进行一系列的配置，而且配置比较麻烦，等学完之后再贴上来。
李小豪
2014年1月19日
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/23927218/viewspace-1119845/ ，如需转载，请注明出处，否则将追究法律责任。
上一篇：
没有了~
下一篇：
没有了~
请登录后发表评论
登录
全部评论
