-
Hadoop编译（接Hadoop部署）
1.在sourcecode目录下上传我们的hadoop tar包hadoop-2.8.1-src.tar.gz2.解压tar包命令:tar -xzvf hadoop-2.8.1-src.tar.gz3.输入命令：mvn clean package -Pdist,native -DskipTests -Dtar得到结果：[root@hadoop001 sourcecode]# cd hadoop-2.8.1-src[root@hadoop001 hadoop-2.8.1-src]# mvn clean package...
-
刘博宇：Druid在滴滴应用实践及平台化建设
Druid是一款支持数据实时写入、低延时、高性能的OLAP引擎，具有优秀的数据聚合能力与实时查询能力。在大数据分析、实时计算、监控等领域都有特定的应用场景，是大数据基础架构建设中重要的一环。Druid在滴滴承接了包括实时报表、监控、数据分析、大盘展示等应用场景的大量业务，作为大数据基础设施服务于公司多条业务线。本次演讲我们将介绍Druid的核心特性与原理，以及在滴滴内部大规模使用中积累的经验。
-
深度:Hadoop对Spark五大维度正面比拼报告！
每年，市场上都会出现种种不同的数据管理规模、类型与速度表现的分布式系统。在这些系统中，Spark和hadoop是获得最大关注的两个。然而该怎么判断哪一款适合你?
-
阿里云封神:Gartner看衰的并不是Hadoop生态
在过去几个月的走访调研中，针对Gartner《2017年数据管理技术成熟度曲线》做出的Hadoop“即将在到达生产成熟期之前衰落”的结论，笔者询问了数十位大数据领域技术专家的观点，Hadoop在国内大数据市场的地位正如笔者所预料的一样稳固。既然如此，那么是Gartner的结论有误吗?我们应该如何正确解读这份报告?抛开报告，Hadoop生态各组件到底表现如何呢？
-
实践：大数据平台1.0总结和2.0演化路线
从3月份到现在2个月过去了，整个数据平台从0到1，算是有了一个基本的样子，跌跌撞撞的勉强支撑起运营的一些基本业务，当然这仅仅是开始，下一步还要从零打造自己的UBS系统，想想都兴奋呢!接下来总结下自己这段时间的得失，以及下一阶段的演化目标。
-
Hadoop大数据面试题全版本，必看跳槽指南！
以下资料来源于互联网，很多都是面试者们去面试的时候遇到的问题，我对其中有的问题做了稍许修改了并回答了部分空白问题，有些考题出的的确不是很好，但也不乏有很好的题目，这些都是基于真实面试而来，希望对即将面试或想继续学习hadoop，大数据等方向的朋友有所帮助!
-
Hive数据定义语言DDL
转载：https://blog.csdn.net/haoyutiangang/article/details/50950254一、数据库相关操作（DATABASE） 1.1 创建数据库（create） CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT datab...
-
MapReduce工作原理图文详解
1.MapReduce作业运行流程下面贴出我用visio2010画出的流程示意图： 流程分析：1.在客户端启动一个作业。2.向JobTracker请求一个Job ID。3.将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息。...
-
hdfs命令
hdfs常用命令：第一类：文件路径增删改查系列：hdfs dfs -rmr dir 删除文件夹dirhdfs dfs -lsr 递归查看文件目录信息 hdfs dfs -du -h dir 按照适合阅读的形式人性化显示文件大小hdfs dfs -du path/file显示目标文件file的大小第三类:权限管理类：hdfs dfs -chgrp -R /...
-
hadoop基础编译环境配置
Part1 JDK:1.下载软件包2.在CRT（或虚拟机里的操作）命令：cd /opt 移动到opt mkdir sourcecode/ 创建文件夹sourcecode mkdir sourceware 创建文件夹sourceware3.命令rz上传下载的软件包hadoop-2.8.1.tar4.解压hadoop-2.8.1.tar...
-
HDFS小文件的理解
1.理解：我理解小文件为存储在块中的数据大小远小于块的存储容量的文件，这样的多个小文件存在会消耗与同样多的大文件同样的NameNode性能，因为当NN处理多个小文件的时候需要从一个DN跳到另一个DN，但是如果是处理与多个小文件同样大小的几个大文件的话，DN效率与访问速度都会得到大大提升，所以我们需要解决小文件的问题，...
-
HDFS文件写流程
图理解：详解HDFS写的过程：1.Client客户端发出请求open到Distributed FileSystem分布式文件系统2.Distributed FileSystem就会发送请求得到块的位置的信息给NN，3.Distributed FileSystem得到块的位置信息（NN返回给Distributed FileSystem的其实是FileSystem对象，里面包括有块的位置信息）4....
-
HDFS文件读流程
用图来理解:详解HDFS读的过程：1.Client客户端发出请求open到Distributed FileSystem分布式文件系统2.Distributed FileSystem就会发送请求得到块的位置的信息给NN，3.Distributed FileSystem得到块的位置信息（NN返回给Distributed FileSystem的其实是FileSystem对象，里面包括有块的位置信息）4...
-
HDFS副本放置策略
1.每个文件一般分为三个副本，当现实情况需要（工作需求量较大的时候也会有分为5个，或者7个副本的情况）2.第一副本：当节点在DN上时，第一副本一般就在DN上，但是如果是其他情况（集群外提交），第一副本也可以在一个随机选择的磁盘剩余空间较大并且速度较快的磁盘上。3.第二副本：放置于与第一副本不同的机架上。4....
-
HDFS架构设计
HDFS架构设计：1.NN(NameNode):主要是维护管理文件命名空间，其中包括了文件名称，文件的权限，创建时间，副本数，文件被分成多少块，快分布在哪些机器（产生文件fsimage和editlog）。2.理解NN管理下NN和块以及实际存储内容的存储关系。实例：假设NN为一个容量为128000ML的正方形盒子，每个块为同样大小正正方方的容量...
-
hive-1.1.0-cdh5.7.0 安装
环境说明： 1、VM10虚拟机 2、系统：centos6.5 &nbs...
-
hive-1.1.0-cdh5.7.0 编译
环境说明： 1、VM10虚拟机 2、系统：centos6.5 3、Hadoop：hadoop-2.6.0-cdh5.7.0 4、JDK：jdk1.8.0_45  ...
-
hive连MySQL数据库创建表的时候报错
hive数据库”的编码，在MySQL下执行命令：ruozedb是在hive.site.xml文件中的MySQL连接URL指定的数据库。 2.1 登录MySQL数据库查看Database： mysql> show databases; +-------------...
-
Hadoop回收站及fs.trash参数详解
Linux系统里，个人觉得最大的不方便之一就是没有回收站的概念。rm -rf很容易造成极大的损失。而在Hadoop或者说HDFS里面，有trash(回收站)的概念，可以使得数据被误删以后，还可以找回来。Hadoop里的trash选项默认是关闭的，所以如果要生效，需要提前将trash选项打开，修改conf里的core-site.xml即可，下面我们...
-
Hive（structured | semi-structured | unstructured）
结构化数据 半结构化数据 非结构化数据
