ITPub博客

首页 > 大数据 > Hadoop > 大数据学习笔记之Hadoop安装步骤详解

大数据学习笔记之Hadoop安装步骤详解

原创 Hadoop 作者:xyz蓝月 时间:2019-05-15 18:41:33 0 删除 编辑

一般大数据集群都是由Hadoop组成的, 本文的最终目标是安装和配置两台Ubuntu服务器,让他们组成Hadoop的集群

首先要安装vmware workstation虚拟软件,这个安装方法和一般的软件一样,这里附一个安装版本,供大家下载。

链接:https://pan.baidu.com/s/1qY9LBGC 密码:21w9

1、用vmware workstation建立虚拟机,开始先不选择安装包

内存选择:如果本机是4G内存,则分配虚拟机1G内存

2、按默认要求来,完成虚拟机的初步配置

【大数据开发学习资料领取方式】:加入大数据技术学习交流群458345782,点击加入群聊,私信管理员即可免费领取


3、开始ubuntu的安装

选择镜像文件(我用的版本也在上面的网盘里下载),然后一步步的安装


4、选择电脑名称为hd1,密码为123456。注意Your name设置为ubuntu


5、打开Ubuntu虚拟机,打开终端编辑器


6、安装并进入VMware Tools。安装通过点击虚拟机->安装VMware Tools进行安装。


7、复制VMware Tools的压缩包到另一个文件目录下。这里放到了tmp目录下。


8、解压VMWare Tools


9、解压后进入vmware-tools-distrib


10、继续编写命令进行安装 sudo./vmware-install.pl


11、安装VMware Tools成功

12、利用 sudo aptinstall vim安装vim。安装完成后如下图。


13、输入reboot重启,同时重启后输入init 0关闭虚拟机

14、复制hd1文件夹,命名为hd2,放在存虚拟机的文件夹下

15、用记事本打开hd2文件夹下的hd1.vmx。修改其中的displayName为hd2.

再用VMware WorkStation打开hd1.vmx


16、分别启动两台虚拟机


17、根据电脑的ip配置/etc/hosts文件,给IP地址一个别名,方便后面操作。注意ip地址为你两台虚拟机的ip地址。用ifconfig命令可以查看本机IP。一般是191.168.开头的一串IP地址。我配置如下。

sudo vim /etc/hosts

192.168.241.132 hd1

192.168.241.130 hd2


18、安装openssh-server


19、启动ssh


20、保证每次开机时自动启动ssh


21、多机互信,两台虚拟机都要执行ssh-keygen-t rsa命令。


22、进行密钥的互信,两台虚拟机都要执行cat id_rsa.pub >> authorized_keys命令。


23、将hd1的文件拷到hd2上,同时把hd2的文件拷到hd1上


24、验证已经实现双机互信


25、在hd1上进行hadoop的安装


26、在hd1和hd2上进行java的安装。

两台主机都要执行sudo apt install default-jre命令。


27、在hd1和hd2上分别进行相关目录的创建


接下来需要配置hadoop集群文件

配置文件有7个:

/home/ubuntu/hadoop/hadoop/etc/hadoop/hadoop-env.sh

/home/ubuntu/hadoop/hadoop/etc/hadoop/yarn-env.sh

/home/ubuntu/hadoop/hadoop/etc/hadoop/slaves

/home/ubuntu/hadoop/hadoop/etc/hadoop/core-site.xml

/home/ubuntu/hadoop/hadoop/etc/hadoop/hdfs-site.xml

/home/ubuntu/hadoop/hadoop/etc/hadoop/mapred-site.xml

/home/ubuntu/hadoop/hadoop/etc/hadoop/yarn-site.xml

28、配置env文件。28-34步只在hd1上完成

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/

export HADOOP_HOME=/home/hadoop/hadoop


29、配置yarn-env文件

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/


30、配置slave文件

hd1

hd2


31、配置core-site文件

<property>

    <name>fs.defaultFS</name>

    <value>hdfs://hd1:9000</value>

</property>

<property> 

    <name>io.file.buffer.size</name>

    <value>131072</value>

</property>

<property>

    <name>hadoop.tmp.dir</name>

    <value>file:/home/ubuntu/hadoop/tmp</value>

</property>

<property>

    <name>hadoop.proxyuser.hduser.hosts</name>

    <value>*</value>

</property>

<property>

    <name>hadoop.proxyuser.hduser.groups</name>

    <value>*</value>

</property>


32、配置hdfs-site文件

<configuration>

    <property>

        <name>dfs.namenode.http-address</name>

        <value>hd1:50070</value>

    </property>

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>hd1:9001</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:/home/ubuntu/hadoop/namenode</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>file:/home/ubuntu/hadoop/hdfs</value>

    </property>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.webhdfs.enabled</name>

        <value>true</value>

    </property>

    <property>

        <name>dfs.support.append</name>

        <value>true</value>

    </property>

    <property>

        <name>dfs.support.broken.append</name>

        <value>true</value>

    </property>

    <property>

        <name>dfs.permissions.enabled</name>

        <value>false</value>

    </property>

</configuration>


33、配置mapred-site文件

注意先将mapred-site.xml.template文件拷出,然后再使用vim命令


<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

<property>

    <name>mapreduce.jobhistory.address</name>

    <value>hd1:10020</value>

</property>

<property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>hd1:19888</value>

</property>

【大数据开发学习资料领取方式】:加入大数据技术学习交流群458345782,点击加入群聊,私信管理员即可免费领取

34、配置yarn-site文件

<property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

</property>

<property>

    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

    <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

    <name>yarn.resourcemanager.address</name>

    <value>hd1:8032</value>

</property>

<property>

    <name>yarn.resourcemanager.scheduler.address</name>

    <value>hd1:8030</value>

</property>

<property>

    <name>yarn.resourcemanager.resource-tracker.address</name>

    <value>hd1:8031</value>

</property>

<property>

    <name>yarn.resourcemanager.admin.address</name>

    <value>hd1:8033</value>

</property>

<property>

    <name>yarn.resourcemanager.webapp.address</name>

    <value>hd1:8088</value>

</property>


35、在hd1和hd2上配置路径文件。执行下面两条命令

sudo vim /etc/profile

export PATH=$PATH:/home/ubuntu/hadoop/hadoop/bin:/home/ubuntu/hadoop/hadoop/sbin


36、在hd1上加入hadoop路径到path路径下


37、在hd1上格式化namenode,执行hadoop namenode -format命令


38、在hd1上进行文件的分发,注意命令行当前所在的位置。

39、验证是否安装成功

在hd1上建一个a.txt文件


拷到hdfs文件里面去


打印显示


自此安装成功

【大数据开发学习资料领取方式】:加入大数据技术学习交流群458345782,点击加入群聊,私信管理员即可免费领取


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/69903766/viewspace-2644520/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
软件专业毕业四年,想在平台跟大家一起学习交流

注册时间:2018-12-25

  • 博文量
    35
  • 访问量
    24982