ITPub博客

首页 > 云计算 > 虚拟化 > 通过Docker快速部署启动Apache Hadoop及Cloudera

通过Docker快速部署启动Apache Hadoop及Cloudera

原创 虚拟化 作者:精灵云 时间:2016-04-27 17:11:04 0 删除 编辑

本文来源:Ghostcloud原创


玩Apache Hadoop和Cloudera的人可能都知道QuickStart VM,但是大家可能还不知道,Docker也可以作为快速启动项来部署启动Apache Hadoop和Cloudera,而且速度要比其他启动方式更快。

说到QuickStart VM,大家可能都很熟了,从本质上来说QuickStart VM就是一个包含了分布式数据处理平台的虚拟镜像。一开始的时候QuickStart VM只是一个demo环境,但后来发展得很火,用途也变得非常广,不管是开发人员,客户,还是合作企业,很多都在用QuickStart VM。我总结了一下,现在QuickStart VM的用途主要是在这几个方面:


·方便用户试运行CDH,并了解CDH的新功能、新组件

·因为可以很方便地部署Hadoop,所以经常被新手拿来练手

·用来做持续集成、API测试等等

·用户有新想法或者新应用的时候,可以用QuickStart VM做模拟运行环境

·用户可以把自己的软件部署在QuickStart VM里面进行演示


QuickStart VM包括VMware、VirtualBox、KVM(这个可以作为磁盘镜像来用)几个类别,当然还有其他一些格式,这几种虚拟化平台都是早就开放给大家使用了。不过随着Docker之类的容器技术越来越火,很多运维人员都开始尝试用新技术来替代传统的VM镜像,让应用的部署更简便。


在这种情况下,Cloudera QuickStart Docker镜像就应运而生了。对于Docker用户来说,这个镜像是非常轻量的,而且用起来也很方便,不用的时候可以随时销毁,不管是用于技术学习也好,用来实现产品创意也好,还是做规模测试前期的持续集成也好,Cloudera QuickStart Docker镜像都是很好用的(但是在投入产品环境之前,最好还是先放到一个更贴近真实情况的测试环境里面跑一下)。


Docker跟传统的虚拟化平台还是有很多不一样的地方,比方说,Docker可以在Linux平台上运行容器,传统的虚拟机只能提供对硬件的模拟,要不然就是把对硬件资源的访问隔离开来,好让用户运行客机操作系统,但是容器就不一样了,容器从本质上说就是主机操作系统的一个进程,每个容器都有自己的一套文件系统,也有自己的资源,但一台主机上的所有容器都是运行在同一个Linux内核上的,这一点跟BSD jail和Solaris zone很像。


入门教程

这次发布的Docker镜像(现在还只是Beta版)跟QuickStart VM一样,都包含了CDH,大家可以自己安装Cloudera Manager免费版,当然也可以装Cloudera Enterprise的60天试用版。大家可以设置Docker映射的端口,这里我设的是主机的80端口,大家也可以这样设置,然后在浏览器里访问这个端口,登进去以后应该可以看到镜像里面提供的详细的教程,还有测试用的示例数据。


装好Docker以后,运行下面的命令就可以下载镜像然后跑容器了:

大家要是还有什么问题的话,可以到Docker Hub上去找相关的文献,另外镜像也可以在Docker Hub上下载。


QuickStart Docker镜像发布以后,在传统的桌面虚拟机和基于AWS的demo集群(Cloudera Live)之外,大家也可以选择Docker镜像来运行Apache Hadoop和Cloudera平台,具体选哪个就看大家的需求了,总之就是选择面更广,用户的自主空间更大。

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31126106/viewspace-2089496/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2016-04-13

  • 博文量
    12
  • 访问量
    10015