ITPub博客

首页 > > > Spark on Microsoft Azure(1)-Create a Spark in HDInsight

Spark on Microsoft Azure(1)-Create a Spark in HDInsight

作者:Ruiyuan Li 时间:2016-08-21 00:00:00 0 删除 编辑

Spark是一个开源、分布式、基于内存的实时处理平台。与Hadoop相比,由于Spark是基于内存的,减少了磁盘IO,因此具有更好的性能。这篇文章主要讲述Microsoft Azure HDInsight上的Spark平台。


1、首先得拥有一个Azure的订阅号。截止到2016年8月,Spark只存在于Azure Global版本中,Azure China并未上线。


2、截止到2016年8月,只在Azure新portal上能够创建HDInsight,老的portal已经显示为禁用状态。


3、在Azure新门户中,点击新建-》数据+分析-》HDInsight,输入集群名称,并选择订阅号。集群名称不可以与已有的集群冲突。你可能拥有多个订阅号,选择其中的一个,所产生的费用将从选定的订阅号中扣除。


4、选择集群类型。HDInsight中包含Hadoop、HBase、Spark、Storm等。这里,我们选择Spark。目前HDInsight中的Spark只支持Linux系统。选择Spark版本及计费节点。


5、输入登录集群凭据。包括集群登录用户名、登录密码以及SSH用户名和密码。为简单起见,这里我们选择SSH身份验证为密码验证。用户名密码得牢记,后续管理集群是需要用到。


6、选择数据源。Spark的数据源默认是在Azure的Storage里面,目前预览版可以切换至Data Lake Store。这里我们创建新的存储账户,并输入默认的容器名称,选择位置在东亚。


7、选择定价层。由于我们目前只是测试,因此我选择1个辅助进程节点,并使用尽可能低的配置。辅助进程和头结点的节点大小选择A3。即使这样,每个小时仍需0.96美元(窃以为还是非常贵的)


8、资源组为了方便azure资源的管理,我们这里输入ruiyuantest。最后点击创建按钮。创建过程可能比较长,笔者花费大约15分钟。

<!-- -->

原文作者:;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2020-05-21

  • 博文量
    495
  • 访问量
    4825