当大数据遭遇云计算

从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式计算架构。它的特色在于对海量数据的挖掘，但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。

云计算为什么能盛行呢？在互联网领域应用系统的构建：客户群体是不确定的、系统规模不确定、系统投资不固定、业务应用有很清晰的并行分割特征、数据仓库系统的构建、数据仓库规模可估算、数据仓库的系统投资与业务分析的价值和回报相关、商业智能应用属于整体应用、Saas模式构建数据仓库系统。

大数据管理，分布式进行文件系统，如Hadoop、Mapreduce数据分割与访问执行；同时SQL支持，以Hive+HADOOP为代表的SQL界面支持，在大数据技术上用云计算构建下一代数据仓库成为热门话题。

从系统需求来看，大数据的架构对系统提出了新的挑战：

1. 集成度更高。一个标准机箱最大限度完成特定任务。

2. 配置更合理、速度更快。存储、控制器、I/O通道、内存、CPU、网络均衡设计，针对数据仓库访问最优设计，比传统类似平台高出一个数量级以上。

3. 整体能耗更低。同等计算任务，能耗最低。

4. 系统更加稳定可靠。能够消除各种单点故障环节，统一一个部件、器件的品质和标准。

5. 管理维护费用低。数据藏的常规管理全部集成。

6. 可规划和预见的系统扩容、升级路线图。

云计算环境成为大数据处理平台

1. 云计算环境中基本计算单元的分化

企业云计算平台上虽然有多个并行计算的CPU，但并没有创造出具有超强数据处理能力的超级CPU，因此云计算平台需要的是有并行运算能力的软件系统。同时，当所有用户的数据全部放在云端时，虽然存储容量可以很方便地扩充，但面对大量用户同时发起的海量数据处理请求，简单的数据处理逻辑已经无法满足需要。

可以看到，国内有相当多的电商企业，用小型机和Oracle扛了好几年，并请了全国最牛的Oracle的专家不停优化他的Oracle和小型机，初期发展可能很快，但是后来由于数据量激增，业务开始受到严重影响，最典型的例子无疑是京东商城前段时间发生的大规模访问请求宕机事件，因此他们开始逐渐放弃了Oracle或者MS-SQL，并逐渐转向MySQL+X86的分布式架构。

目前的基本计算单元常常是普通的X86服务器，它们组成了一个大的云，而未来的云计算单元里有可能有存储单元、计算单元、协调单元，总体的效率会更高。

2. 对系统稳定性的需求

在应对大规模访问的时候有一些系统稳定性的追求，来自很多方面，来自网络稳定性、数据库稳定性。对系统而言，需要把握一个大原则，需要消除任何单点故障。不光是网络上单点故障，还有来自你呼叫中心里的单点故障，只要有单点故障一定要消除掉。因为对于电商行业而言，每一秒都是钱，电子商务业务如果宕机一个小时，损失多少是可以算出来的，电商行业需要非常全面的技术系统监控报警系统。有时候你会发现你如果通过技术系统的监控去推导出你的技术发生问题已经晚了。