全部博文
-
编辑 删除
Hadoop学习笔记（一）Hadoop分布式文件系统：文件写入
1.高性能计算（HPC）和网格计算（GC)与MapReduce的比较 HPC和GC，主要使用类似于消息传递接口（Message Passing Interface）的API。从广义上讲，是将作业分散到集群的各台机器上，这些机器访问由存储区域网络（SAN）组织的共享文件系统。这比较适合计算密集型的作业。但如果节点需要访问更大量的数据(几百个GB的数据，这时MapReduce开始发挥其优势),很多节点会英文网络带宽的瓶颈问题而空闲下来等待数据。 MapReduce会尽量在节点存储数据，以实现数据的本地快速访问。数据本地化（Data Locality）特征是MapReduce的核心
