Intel大数据培训总结

分布式文件系统（可靠性、扩展性、安全性、一致性）

一．设计时考虑

1.       系统部分失效问题：允许出问题时，集群性能下降，但不允许停止服务。

2.       数据可恢复问题：对数据、进程出错接管

3.       节点可恢复问题：节点增减

4.       并发访问：出错时不同客户端所收结果应相同

5.       副本一致性

6.       可扩展性能

7.       增加负载性：缓慢增加

8.       有权限的访问

拜占庭问题

二．完美的分布式系统CAP

CAP：数据是一致(Consistency，副本一致性，ACID)的，整个系统具有很高的可用性(Availability)，并且能够容忍网络的分区错误(Tolerance of network Partition，容忍网络隔离)。

Hadoop

一．优点

1.       横向可扩展

2.       集群容量无限大

3.       大文件存储

4.       高容错性

5.       数据格式没有限制

6.       数据处理速度快

7.       硬件价格廉价（无需数据库）

二．缺点

1.       不太适合小而多的文件

2.       存在单点问题：多点存储但单点维护

3.       网络带宽、磁盘IO是瓶颈

三．过程

Map过程

Reduce过程

四．编程接口

Mapper类：每个Mapper类的实例生成一个Java进程（在某一个InputSplit上执行）。

Combiner类

Patitioner类

Reducer类

Driver类

InputFormat类

InputSplit类：定义了输入到单个Map任务的输入数据，默认将文件切分成64MB的大小。建议切分的大小和HDFS的block（默认也是64MB）大小一致。

RecordReader类

Shuffler类

OutputFormat类

五．容错

解决方案：将失败的任务再次执行。

六．特性

1.       横向扩展而非向上扩展：Scale out而不是Scale up

2.       假定失效是常态

3.       把处理向数据迁移

七．高级编程技术

1.       复合键值对

2.       自定义数据类型

3.       自定义输入输出格式

4.       自定义Combiner和Partitioner

5.       迭代完成MapReduce计算

6.       组合完成MapReduce计算

7.       和关系数据库连接

HDFS

一．核心思想

文件副本 分片保存

一次写入 多次读取

顺序写入 流式顺序读取

二．特征

存储极大数目的信息，将数据保存到大量节点当中。支持很大的单个文件。提供高可靠性，单个或多个节点不工作，不对系统造成影响。提供对信息的快速访问，并提供可扩展的方式。本地局部性访问数据。

基于块的文件存储，副本默认数目是3，默认64MB。减少元数据的量，有利于顺序读写（在磁盘上数据顺序存放）。

三．主要模块

NameNode：管理文件系统的名字空间（元数据）；管理出错节点的数据复制到新的DataNode。

DataNode：数据读写；发送心跳；文件块副本流水线复制

第二份数据备份到与第一个机架最近的（经过少量交换机，快、占用带宽小）、不在同一个机架的节点。第三份数据备份到第二个机架上非同一个节点的随意一个节点。并且第三份数据是由第二个机架上的那个第二份复制而来（因为Hadoop瓶颈是带宽）。

Hive

跟SQL类似的语言 HiveQL

更像数据仓库的功能，而不是数据库。

Hive把表组织成分区partition的形式，使用分区可以加速数据分片Slice的查询速度；表或者分区可以进一步被划分为桶，桶能为数据提供额外的结构。

本质上，分区是将数据按某关键字物理分离在不同地方，桶是利用哈希将数据随机分离。

分区可以再增加数据，桶一旦建好就不能再增加数据。

桶的创建原理导致了其可以作为大样本中的一部分抽样数据。

ZooKeeper

一． 简介

ZooKeeper是分布式系统的可靠协调系统，ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。一般运行大于等于3的奇数个。

二． 特性

1.     提供了文件系统的树状结构

2.     数据备份保证数据一致性

3.     有序的事务编号zxid

三．Leader Election

有一群master，但每次都只有一个在使用，执行调度，即单点，其他睡眠，一旦在使用的master出错，其他master选举出Leader，其他继续睡眠。保证了工作时单点，但有群master保证master工作。

HBase

HBase是分布式的、面向列的数据库。

数据模型{row,key,column(=+),version(timestamp)}