-
Hive之 数据存储
首先，Hive 没有专门的数据存储格式，也没有为数据建立索引，用户可以非常自由的组织 Hive 中的表，只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符，Hive 就可以解析数据。 其次，Hive 中所有的数据都存储在 HDFS 中，Hive 中包含以下数据模型：Table，External Table，Partition，Bu...
-
Hive之 Hql语法解析
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需要的内容，这套SQL 简称Hive SQL，...
-
Hive之 hive与hadoop的联系
Hive与Hadoop调用图解析...
-
Hive之 hive与rdbms对比
对比图总结：Hive并非为联机事务处理而设计，Hive并不提供实时的查询和基于行级的数据更新操作。Hive是...
-
Hive之 hive-1.2.1 + hadoop 2.7.4 集群安装
一、 相关概念Hive Metastore有三种配置方式，分别是：Embedded Metastore Database (Derby) 内嵌模式Local Metastore Server 本地元存储Remote Metastore Server 远程元存储1.1 Metadata、Metastore作用metadata即元数据。元数据包含用Hive创建的database、tabel等的元信息。元数据存储在关系型数据库中...
-
大数据之 ZooKeeper原理及其在Hadoop和HBase中的应用
ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是Google Chubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。简介ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是Google C...
-
hadoop之 HDFS-Hadoop存档
每个文件按块方式存储, 每个块的元数据存储在namenode的内存中Hadoop存档文件或HAR文件是一个更高效的文件存档工具,它将文件存入HDFS块,在减少内存使用的同时,允许对文件进行透明地访问Hadoop存档文件可以用作MapReduce的输入使用Hadoop存档工具Hadoop存档是通过archive工具根据一组文件创...
-
hadoop 之distcp（分布式拷贝）
概述distcp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 由于使用了Map/Reduce方法，这个工具在语义和执行上都会有特殊的地方。 这篇文档会为常用di...
-
hadoop之 解析HDFS的写文件流程
文件是如何写入HDFS的 ？下面我们来先看看下面的“写”流程图： 假如我们有一个文件test.txt，想要把它放到Hadoop上，执行如下命令：引用 # hadoop fs -put /usr/bigdata/dataset/input/20...
-
hadoop之 Hadoop2.2.0中HDFS的高可用性实现原理
在Hadoop2.0.0之前，NameNode(NN)在HDFS集群中存在单点故障（single point of failure），每一个集群中存在一个NameNode，如果NN所在的机器出现了故障，那么将导致整个集群无法利用，直到NN重启或者在另一台主机上启动NN守护线程。 主要在两方面影响了HDFS的可用性： （1）、在不可预测的情况下，如果NN所在的...
-
hadoop 之Hadoop生态系统
1、Hadoop生态系统概况Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。下图为hadoop的生态系统： 2、HDFS（Hadoop分布式文件系统）源自于Google的GFS论文，发表于2003年10月，HDFS是G...
-
linux各种类型包的安装与卸载
(1)rpm –ivh rpm的软件包名 rpm参数 参数说明 -i 安装软件 -t 测试安装，不是真的安装 -p 显示安装进度 -f 忽略任何错误 -U 升级安装 -v 检测套件是否正确安装 -e 卸载(2) deb包安装方式步骤 1. 安装 dpkg –i deb的软件包名 如：dpkg –i software-...
-
hive的安装
以下操作在hdpsrc3 节点上操作一，下载安装包1，下载hive?http://mirrors.hust.edu.cn/apache/? ?得到apache-hive-1.1.0.tar.gz ?，放到该目录下 /home/hdpsrc/?2，下载mysql ??http://dev.mysql.com/downloads/mysql/5.5.html#downloads? ?得到?mysq...
-
用 Python 3 的 async / await 做异步编程
在接着写下去之前，我先列举一些 PEPs 以供参考：从这些 PEPs 中可以看出 Python 生成器 / 协程的发展历程：先是 PEP 255 引入了简单的生成器；接着 PEP 342 赋予了生成器 send() 方法，使其可以传递数据，协程也就有了实际意义；接下来，PEP 380 增加了 yield from 语法，简化了调用子生成器的...
-
Hbase 之 HBase 的整体架构
HBase 系统架构图组成部件说明 Client： 使用HBase RPC机制与HMaster和HRegionServer进行通信 Client与HMaster进行通信进行管理类操作 Client与HRegionServer进行数据读写类操作 Zookeeper： Zookeeper Quorum存储-ROOT-表地址、HMaster地址 ...
-
hadoop之 hadoop用途方向
hadoop是什么？Hadoop是一个开源的框架，可编写和运行分不是应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理），Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与...
-
mysql的安装
mysql安装
-
hadoop之 HDFS fs 命令总结
版本：Hadoop 2.7.4-- 查看hadoop fs帮助信息[root@hadp-master sbin]# hadoop fsUsage: hadoop fs [generic options][-appendToFile ... ][-cat [-ignoreCrc] ...][-checksum ...][-chgrp [-R] GROUP PATH...][-chmod [-R] PATH...][-chown [-R] ...
-
Hadoop 2.7.4 关闭与启动
环境说明：[root@hadp-master sbin]# hadoop versionHadoop 2.7.4一、 脚本封装全部一起启动、关闭1.1 启动[root@hadp-master sbin]# ./start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.shStarting namenodes on [hadp-master]hadp-master: starting namenode, loggin...
-
CentOS7下搭建hadoop2.7.3完全分布式
这里搭建的是3个节点的完全分布式，即1个nameNode，2个dataNode，分别如下：CentOS-master nameNode 192.168.11.128CentOS-node1 dataNode 192.168.11.131CentOS-node2 dataNode 192.168..11.1321.首先创建好一个C...
