一、大数据是什么?
这句话至少传递两种信息：
1、大数据处理无捷径，对分析处理技术提出了更高的要求
下图是数据处理流程：
2、底层是数以千亿计的数据源，数据源可所以SCM(供应链数据)，4PL(物流数据)，CRM(客户数据)，网站日志以及其他的数据
3、第三层是数据仓库，加工后的数据流入数据仓库，进行整合和存储，构成一个又一个数据集市。
4、第四层是BI(商业智能)，按照业务需求，对数据进行分析建模、开掘、运算，输出共同的数据分析途径
大数据的量级，抉择了大数据处理及运用的难度，需求运用特定的技术东西去处理大数据。
以最常运用的Hadoop为例：
集群是指，2台或2台以上服务器构建节点，供应数据服务。单台服务器，无法处理海量的大数据。服务器越多，集群的威力越大。
从上图可以看出，Hadoop的中心是HDFS,YARN和Map Reduce，下面和我们讲一讲，几个首要模块的意义和功用。
数据以块的形式，散布在集群的不同节点。在运用HDFS时，无需关怀数据是存储在哪个节点上、或者是从哪个节点从获取的，只需像运用本地文件系共同样处理和存储文件系统中的数据。
散布式核算结构将凌乱的数据集分发给不同的节点去操作，每个节点会周期性的回来它所结束的工作和最新的状况。我们可以结合下图了解Map Reduce原理：
核算机要对输入的单词进行计数：
假设选用散布式核算办法，核算将变得高效。我们将数据随机分配给三个节点，由节点去分别核算各自处理的数据中单词出现的次数，再将相同的单词进行聚合，输出最终的成果。
相当于电脑的任务处理器，对资源进行处理和调度。
HBase对错联络型数据库(Nosql)，在某些业务场景下，数据存储查询在Hbase的运用功率更高。
5、HIVE(数据仓库)
6、 Spark(大数据核算引擎)
7、Mahout(机器学习开掘库)
8、Sqoop
除上述模块外，Hadoop还有Zookeeper、Chukwa等多种模块，由所以开源的，所以未来还有出现更多更高效的模块，我们感喜好可以上网了解。
在不久的将来，多智时代一定会彻底走入我们的日子，有喜好入行未来前沿工业的朋友，可以留神多智时代，及时获取人工智能、大数据、云核算和物联网的前沿资讯和基础知识，让我们一同携手，引领人工智能的未来!
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/31549219/viewspace-2212358/ ，如需转载，请注明出处，否则将追究法律责任。
