ITPub博客

首页 > Linux操作系统 > Linux操作系统 > hadoop学习之初识

hadoop学习之初识

原创 Linux操作系统 作者:windtalker_cs 时间:2012-01-13 17:52:01 0 删除 编辑
与hadoop相关的一些技术(名词):
Core:
           一系列分布式文件系统和通用I/O的组件和接口(序列化、Java RPC和持久化数据结构)。
Avro:
          一种提供高效、跨语言RPC的数据序列系统,持久化数据存储。
MapReduce:
          分布式数据处理模式和执行环境,运行于大型商用机集群。
HDFS:
          分布式文件系统,运行于大型商用机集群。
Pig:
         一种数据流评议和运行环境,用以检索非常大的数据集。Pig运行在MapReduce和HDFS的集群上。
Hbase:
        一个分布式的、列存储数据库。HBase使用HDFS作为底层存储,同时支持MapReduce的批量式计算和点查询(随机读取)。

ZooKeeper:
        一个分布式的、高可用性的协调服务。ZooKeeper提供分布式锁之类的基本服务,用于构建分布式应用。

其中最主要是HDFS和MapReduce。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/23065269/viewspace-714908/,如需转载,请注明出处,否则将追究法律责任。

上一篇: hcheck测试
下一篇: SSIS的事件
请登录后发表评论 登录
全部评论

注册时间:2010-02-24

  • 博文量
    49
  • 访问量
    184815