-
Kafka集群安装
转载：http://www.linuxidc.com/Linux/2014-09/107386.htm此为上一篇文章的续篇, kafka安装需要依赖zookeeper, 本文与上一篇文章都是真正分布式安装配置, 可以直接用于生产环境.zookeeper安装参考: http://www.linuxidc.com/Linux/2014-09/107386.htm首先了解几个kafka中的概念:kafka是一个消息队列服...
-
redhat as 7 配置zookeeper
环境： redhat as 7 3个节点：1.编辑/etc/hosts[hadoop@qxy3 ~]$ cat /etc/hosts192.168.182.133 qxy1192.168.182.134 qxy2192.168.182.135 qxy3 2.$ vi .bash_profileexport JAVA_HOME=/usr/local/jdk1.8.0export HADOOP_HOME=/home/hadoop/hadoop-2.6.2 export ZK_HOME=...
-
hadoop 2.6.2 部署集群 for redhat 7 (3个节点）
以root用户登录 1.创建hadoop用户useradd hadoop passwd hadoop2.配置 sudo chmod +w /etc/sudoersvi /etc/sudoers hadoop ALL=(root)NOPASSWD:ALL chmod -w /etc/sudoers3.配置JAVA(hadoop用户运行）将下载好的安装包解压到 /usr/java/jdk1.7，然后设置环境变量，命令如下：sudo vi /et...
-
小丸子学Hadoop系列之——部署Hadoop集群
0.集群规划 主机名ip地址安装的软件运行的进程hadoop110.1.245.72hadoop,zookeeper namenode,zkfc,resourcemanager,journalnodehadoop210.1.245.73hadoop,zookeeper namenode,zkfc,resourcemanager,datanode,nodemanager,journalnodehadoop310...
-
nginx:按天自动切日志并压缩
转载自：http://www.iteblog.com/archives/1244默认情况下，nginx将每天网站访问的日志都写在一个文件里面，随着时间的推移，这个文件势必越来越大，最终成为问题。不过我们可以写个脚本来自动地按天(或者小时)切割日志，并压缩(节约磁盘空间)。 脚本的内容如下：01...
-
EsgynDB上线亚马逊
AWS的Trafodion
-
MapReduce程序Failed to set permissions of path:错误处理
一.在初次使用eclipse运行MapReduce程序时会出现未设置路径权限的错误（Failed to set permissions of path:）。如下图 出现这种错误的原因是程序运行时给出的输入输出路径的权限无法满足Hadoop自带的权限检查要求。 (hadoop中hdfs文件系统中要求文件权限达到755，而...
-
hadoop2.6 HA集群安装配置
.说明：1) 在hadoop2.0中通常由两个namenode组成，一个处于active状态，另一个处于standby状态。active namenode对外提供服务，而standby namenode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败的快速进行切换。hadoop2.0提供两种hdfs ha的解决方案，一种是nfs，另一种是qjm。这里使用的是qjm。主备namenode之间通过一组journalnode同步元数据信息，一条数据只要成功写入多数journalnode即认为写入成功。通常配置奇数个journalnode。这里还配置了一个zookeeper集群，用于zkfc(DFSZKFailoverController)故障转移，当active namenode挂掉，会自动切换standby namenode为active状态。2) hadoop2.2.0中依然存在resourcemanager的单点故障问题，在hadoop2.4.1中解决了这个问题。有两个resourcemanger，一个是active，一个standby，状
-
wordCount功能实现
mapreduce简单的单词计数程序
-
MapReduce发生Permission denied: user=zhen, access=WRITE错误
一.错误介绍. 在进行mapreduce编程时，利用MapReduce程序处理上传至hdfs文件系统下的数据文档时，由于传入的数据文档的权限为644，无 法满足supergroup的755权限要求，所以会出现错误。如下二.修改方法。 修改配置文件中的设置，找到hdfs-site.xml配置问文件。  ...
-
Linux下hadoop安装
Linux虚拟机下hadoop的安装1. 设置网络连接(1) 将虚拟机的网络连接设为仅主机连接（host-only） (2)设置window下VirtualBox Host-OnlyNetwork的网络配置(3)配置linux下eth0的网络配置配置网络文件...
-
还不懂Hadoop分布式文件系统HDFS的工作原理？——快来扫扫盲吧
Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。要理解HDFS的内部工作原理，首先要理解什么是分布式文件系统。 1、分布式文件系统 多台计算机联网...
-
Hadoop傻瓜化：Datameer大数据收入即将翻三番
随着分析正在成为企业IT核心，昔日的BI- ETL-EDW分析范型已经完全落伍，不再适用。而力推“大数据傻瓜化”的Datameer的销售收入暴增三倍，告诉人们这个判断有多正确。 Datameer这样的硅谷大数据创业公司摸准了企业的需求，并且已经淘到了真金白银，这将进一步刺激大数据淘金热，同时也为其他大数据创业公司指...
-
Windows下Myeclipse搭建MapReduce程序运行环境及查看Hadoop源码
本文是讲如何建立在windows下使用Myeclipse编写MapReduce程序的环境。在windows下开发难度低于在Linux下的开发难度，简单易操作。
-
wordCount功能实现
mapreduce简单的单词计数程序
-
迷失的RPC.getServer方法回家了
在hadoop2.4.0环境下构建RPC服务端
-
迷失的RPC.getServer方法
今天学习了有关RPC的有关知识，RPC(remote procedure call)是一种<span style="color:#333333;font-family:arial;font-size:13px;line-height:20.02px;white-space:normal;background-color:#FFFFFF;">远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC是hadoop构建的基...
-
通过Hadoop提供的FileSystem这个API来操作hdfs
通过Hadoop提供的FileSystem这个API来简单的操作hdfs文件系统
-
通过Java的URL类来访问Hdfs内的文件
使用URL类来访问hdfs文件系统
-
Hadoop入门书籍推荐
Hadoop入门书籍推荐
