-
CDH4/5配置文件之深度解析
一.目录 B.重启MapReduce单个服务 只更新/var/run/cloudera-scm-agent/process/*目录 #因为只重启MapReduce服务，没有重启其他服务，如Hive,所以就只更新MapReduce 四.个人理解总结: cm web界面修改------>数据库表configs表...
-
CDH5 快速入门手册v1.0
0. 体系架构 CM分为Server与Agent两部分及数据库（自带更改过的嵌入Postgresql）。它主要做三件事件： 1. 管理监控集群主机。 2. 统一管理配置。 3. 管理维护Hado...
-
HBase源码分析之WAL
WAL(Write-Ahead Logging)是数据库系统中保障原子性和持久性的技术，通过使用WAL可以将数据的随机写入变为顺序写入，可以提高数据写入的性能。在hbase中写入数据时，会将数据写入内存同时写wal日志,为防止日志丢失，日志是写在hdfs上的。 默认是每个RegionServer有1个WAL，在HBase1.0开始支持多个WALHBASE-5699,...
-
一、大数据之CentOS服务器部署
一、虚拟机CentOS系统安装部署：二、虚拟机CentOS系统网络配置与测试：三、主机名的修改：# vi /etc/sysconfig/network四、配置hosts解析：五、配置hosts解析：六、关闭防火墙和SELINUX：
-
CentOS 7搭建Hadoop 2.7.3完全分布式集群环境
分享一下CentOS 7搭建Hadoop 2.7.3完全分布式集群环境步骤。(一）软件准备1，hadoop-2.7.3.tar.gz（包）2,三台机器装有cetos7的机子（二）安装步骤 1，给每台机子配相同的用户 进入root : su root 创建用户s: useradd s 修改用户密码：passwd s...
-
CentOS 6.5下ZooKeeper3.4.6集群环境部署及单机部署详解
【系统】CentOS 6.5集群部署【软件】准备好jdk环境，此次我们的环境是open_jdk1.8.0_101 zookeeper-3.4.6.tar.gz【步骤】1. 准备条件如果有内部dns或者外网有域名，则直接使用域名如果没有需要修改/etc/hosts文件，或者直接使用IP集群规划主机类型 IP地址 域名zookeeper1 192.16...
-
CentOS 6.7下搭建Hadoop 2.7.3集群
Hadoop集群有三种运行模式：单机模式、伪分布模式、完全分布模式。我们这里搭建第三种完全分布模式，即使用分布式系统，在多个节点上运行。1 环境准备1.1 配置DNS 进入配置文件，添加主节点和从节点的ip映射关系：# vim /etc/hosts 10.0.0.45 master 10.0.0.46 slave1 10.0.0.47 slave2...
-
深入浅出Hadoop之HDFS
Hadoop生态系统一直是大数据领域的热点，其中包括今天要聊的HDFS，和计划以后想聊的yarn, mapreduce, spark, hive, hbase, 已经聊过的zookeeper，等等。今天主聊HDFS，hadoop distributed file system, 起源于Google 的 GFS，只不过GFS是用c++写的，Hadoop是Doug Cutting在yahoo用Java写的。2008 年 Hadoop成为Ap...
-
Centos 7.1+CDH5.7.2全部署流程
参照这位大咖的帮忙文档，能成功在Centos 7.1上CDH5.7.2集群；https://www.cnblogs.com/itboys/p/5955545.html
-
一步步教你Hadoop多节点集群安装配置
初学者学习大数据安装
-
配置Hadoop中启用LZO压缩
配置Hadoop中启用LZO压缩，并完成测试。步骤如下：一、配置hadoop的hadoop-evn.sh文件，增加如下内容：点击(此处)折叠或打开export LD_LIBRARY_PATH=/usr/local/hadoop/lzo/lib二、配置core-site.xml文件，增加如下内容：点击(此处)折叠或打开...
-
hadoop2.6.0-cdh5.7.0编译，支持snappy、bzip2本地压缩
hadoop2.6.0-cdh5.7.0编译，支持snappy、bzip2本地压缩
-
hive 正则表达式详解
1.regexpselectcountfromwherenot'\\d{8}'selectcountfromwherenot'\\d{8}'2.regexp_extracthive> select regexp_extract(,,) from test1 limit ;1。。。7340Time taken: seconds, Fetched: row(s)'IloveYou''I(.*?)(You)'21You'IloveYou''(I)(.*?)(You)'11I'IloveYou''(I)(.*?)(You)'01IloveYou"Ilove...
-
hive函数---regexp_extract
regexp_extract(str, regexp[, idx]) - extracts a group that matches regexp-- 这个函数有点类似于 substring(str from 'regexp') ..其中：regexp 是正则表达式0表示把整个正则表达式对应的结果全部返回注意点：否则报错：如：得到的结果为:select regexp_extract('x=a3&x=1...
-
spark之 spark 2.2.0 Standalone安装、wordCount演示
说明：前提安装好hadoop集群，可参考 http://blog.csdn.net/zhang123456456/article/details/77621487一、 scala 安装1、下载 scala 安装包 ：https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.7.tgz2、上传 scala 安装包 [root@hadp-master local]# pwd/usr/local[root@hadp-master...
-
hadoop之 参数调优
一、 hdfs-site.xml 配置文件1、 dfs.blocksize 参数：hadoop文件块大小描述：新文件的默认块大小，以字节为单位，默认 134217728 字节。可以使用以下后缀(大小写不敏感):k(kilo)、m(mega)、g(giga)、t(tera)、p(peta)、e(exa)来指定大小(如128k、512m、1g等)，或者以字节为单位提供完整的大小。2、 dfs...
-
执行hadoop命令时，出现异常
执行hadoop命令时，出现异常解决方法：1.首先jps命令，查看hadoop的进程是否全部启动。我的jps后，发现namenode 进程丢失。2.netstat -nltp|grep 9000 查看端口。我的不能发现端口。3，执行hadoop formate -namenode 问题解决。
-
hadoop执行./start-all.sh，突然报错
启动时报这个错误[root@hadoop sbin]$ sbin/start-dfs.sh1WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-Java classes where applicable解决方法1.去网站：http://dl.bintray.com/sequenceiq/sequenceiq-bin/ 下载对应的编译版本,我下载的是2.62.将...
-
HIVE之 Sqoop 1.4.6 安装、hive与oracle表互导
1. sqoop数据迁移1.1 概述sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库1.2 工作机制将导入或导出命令翻译成mapreduce程序来实...
-
hadoop之 Yarn 调度器Scheduler详解
概述集群资源是非常有限的，在多用户、多任务环境下，需要有一个协调者，来保证在有限资源或业务约束下有序调度任务，YARN资源调度器就是这个协调者。YARN调度器有多种实现，自带的调度器为Capacity Scheduler和Fair Scheduler。YARN资源调度器均实现Resource Scheduler接口，是一个插拔式组件，用户可...
