CentOS 6.5下ZooKeeper3.4.6集群环境部署及单机部署详解
【系统】CentOS 6.5集群部署【软件】准备好jdk环境,此次我们的环境是open_jdk1.8.0_101 zookeeper-3.4.6.tar.gz【步骤】1. 准备条件如果有内部dns或者外网有域名,则直接使用域名如果没有需要修改/etc/hosts文件,或者直接使用IP集群规划主机类型 IP地址 域名zookeeper1 192.16...
认识 Python 中的 defaultdict
今天我们的主角是 defaultdict,同时也会介绍一下模仿方法 __missing__(),本文主要来源于网友博客,分享给有需要的人。该例子统计strings中某个单词出现的次数,并在counts字典中作记录。单词每出现一次,在counts相对应的键所存的值数字加1。但是事实上,运行这段代码会抛出KeyError异常,出现的时机是每...
CentOS 6.7下搭建Hadoop 2.7.3集群
Hadoop集群有三种运行模式:单机模式、伪分布模式、完全分布模式。我们这里搭建第三种完全分布模式,即使用分布式系统,在多个节点上运行。1 环境准备1.1 配置DNS 进入配置文件,添加主节点和从节点的ip映射关系:# vim /etc/hosts 10.0.0.45 master 10.0.0.46 slave1 10.0.0.47 slave2...
深入浅出Hadoop之HDFS
Hadoop生态系统一直是大数据领域的热点,其中包括今天要聊的HDFS,和计划以后想聊的yarn, mapreduce, spark, hive, hbase, 已经聊过的zookeeper,等等。今天主聊HDFS,hadoop distributed file system, 起源于Google 的 GFS,只不过GFS是用c++写的,Hadoop是Doug Cutting在yahoo用Java写的。2008 年 Hadoop成为Ap...
Centos 7.1+CDH5.7.2全部署流程
参照这位大咖的帮忙文档,能成功在Centos 7.1上CDH5.7.2集群;https://www.cnblogs.com/itboys/p/5955545.html
一步步教你Hadoop多节点集群安装配置
初学者学习大数据安装