ITPub博客

首页 > 大数据 > Hadoop > 在Hadoop集群上运行R程序--安装RHadoop(转)

在Hadoop集群上运行R程序--安装RHadoop(转)

Hadoop 作者:lvqingqing 时间:2013-08-01 09:22:50 0 删除 编辑

在Hadoop集群上运行R程序--安装RHadoop

(2011-12-29 22:30:33)
标签:

hadoop

r

rhadoop

rjava

杂谈

分类: Hadoop

RHadoop是由Revolution Analytics发起的一个开源项目,它可以将统计语言RHadoop结合起来。目前该项目包括三个R packages,分别为支持用R来编写MapReduce应用的rmr、用于R语言访问HDFSrhdfs以及用于R语言访问HBASErhbase。下载网址为https://github.com/RevolutionAnalytics/RHadoop/wiki/Downloads

说明:下面的记录是在安装成功后的总结,中间的过程描述及解决方法可能并不精确(用红色进行了标记),仅供参考。服务器操作系统为centos 5.6

一、软件版本

R 2.13.1Hadoop集群(CDH3)、JDK1.6

二、安装节点

其中rhbaserhdfsHadoop集群的namenode上安装即可,而rmr则需要在集群上的每一个节点上安装。

三、安装

由于网络限制,只能先将源文件下载到本地,然后通过shell命令R CMD INSTALL ‘package_name’来安装。

a)         首先安装rhdfs。该包依赖于包 rJava。所以还需要先下载rJava的源代码并安装。

R CMD INSTALL ‘rJava_0.9-3.tar.gz’

R CMD INSTALL ‘rhdfs_1.0.1.tar.gz’

在执行安装rJava时,可能会失败,提示错误信息“checking whether JNI programs can be compiled... configure: error: Cannot compile a simple JNI program. See config.log for details.”,这可能是由于jdk的版本问题造成的,建议安装jdk1.6

b)         安装rmr。该包依赖于包RJSONIO itertools digest,而包itertools 又依赖于iterators

R CMD INSTALL ‘iterators_1.0.5.tar.gz’

R CMD INSTALL ‘itertools_0.1-1.tar.gz’

R CMD INSTALL ‘RJSONIO_0.96-0.tar.gz’

R CMD INSTALL ‘digest_0.5.1.tar.gz’

R CMD INSTALL ‘rmr_1.1.tar.gz’

c)         安装rhbase(参见https://github.com/RevolutionAnalytics/RHadoop/wiki/rhbase)。在安装rhbase之前,还需要安装Thrift库,建议安装Thrift 0.6.1版本,下载网址为http://thrift.apache.org/。详细的安装步骤如下:

                         i.              centos系统下输入shell命令sudo yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel lib-devel python-devel ruby-devel,安装一些Thrift相关的工具或库。由于网络连接的问题,在尝试的时候并不能完全安装,个人觉得也没有必要完全安装,只需保证g++ 3.3.5以上版本、boost 1.33.1以上版本即可

                       ii.              解压并安装Thrift

tar -zvxf thrift-0.6.1.tar.gz

cd thrift-0.6.1

./configure --with-boost=/usr/include/boost JAVAC=/usr/jdk1.6/bin/javac

make

make install

其中—with-boostJAVAC的值根据服务器的实际情况进行修改(不确定javac的设置是不是必须的)。

                      iii.              设置环境变量PKG_CONFIG_PATH

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/22772992/viewspace-1120418/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2009-10-26

  • 博文量
    1
  • 访问量
    685