按类别查询搜索结果
关于关键词 "HADOOP" 的检测结果,共 16
chenfeng | 2017-03-27 17:38:10 | 阅读(30) | 评论(0)
HDFS是设计来存储和管理大数据的,因此典型的HDFS块大小明显比平时我们看到的传统文件系统块大得多,块大小的设置用来将大文件切割成一个数据块,再将这些数据块分发到集群上,例如集群的块大小设置为64MB,一个128MB的文件上传到HDFS上,HDFS会将这个文件切分成2(128/64)个数据块,再将这两块数据分发到集群的数据节点上。 设置块大小: 打【阅读全文】
chenfeng | 2017-03-02 13:08:45 | 阅读(30) | 评论(0)
hadoop家族产品学习线路图 简单产品介绍: Apache hadoop: 是Apache开源组织的一个分布式计算开源框架,提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。 Apache Hive: 是基于hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,通过类SQL语句快速实现简单的MapReduce统计,不必开发专门【阅读全文】
chenfeng | 2017-03-01 09:51:13 | 阅读(0) | 评论(0)
Interface 说明 Cell HBase中的存储单元包括以下字段: 1) row 2) column family 3) column qualifier 4) timestamp 5) type 6) MVCC version 7) value0 【阅读全文】
【大数据】 hadoop与Spark的比较
chenfeng | 2017-02-27 14:27:23 | 阅读(30) | 评论(0)
hadoop框架的主要模块包括如下: hadoop Common hadoop分布式文件系统(HDFS) hadoop YARN hadoop MapReduce 虽然上述四个模块构成了hadoop的核心,不过还有其他几个模块。这些模块包括:Ambari、Avro、Cassandra、Hive、 Pig、Oozie、Flume和Sqoop,它们进一步增强和扩展了hadoop的功能。 【阅读全文】
xujinfeiitpub | 2015-06-27 10:54:39 | 阅读(960) | 评论(0)
【大数据】 Ambari部署hadoop
luckyfriends | 2015-06-16 11:53:18 | 阅读(3180) | 评论(0)
http://ambari.apache.org/ http://www.cnblogs.com/scotoma/archive/2013/05/18/3085248.html http://www.oschina.net/p/ambari/similar_projects?lang=0&sort=time http://www.infoq.com/cn/news/2012/12/ambari http://wenku.baidu.com/link?url=_dpoFkgD7EEClFc8bWYT5dXL295mglrzURGKRrSeXmdQ-rNKtouDNduGqWy4JPSMBYVzIsrYmDSADuU【阅读全文】
【大数据】 hadoop Yarn
luckyfriends | 2015-06-08 11:51:33 | 阅读(3300) | 评论(1)
http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ http://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/YARN.html http://zh.hortonworks.com/hadoop/yarn/ http://www.csdn.net/article/2013-12-18/2817842-bd-hadoopyarn http://www.csdn.net/article/2013-12-04/2817706 http://www.ibm.com/dev【阅读全文】
luckyfriends | 2015-05-29 17:14:20 | 阅读(1980) | 评论(0)
http://www.cnblogs.com/zhenjing/archive/2012/11/02/File-Format.html http://blog.csdn.net/javaman_chen/article/details/7241087 http://tangjj.blog.51cto.com/blog/1848040/1532915 http://blog.csdn.net/xhh198781/article/details/7693358【阅读全文】
sunjinshuang | 2015-05-15 15:06:46 | 阅读(2400) | 评论(0)
这是一本小书而不是一篇文章,因为它详实细致的让你从一个完全不了解大数据技术及相关应用的门外汉,变成一个熟知其概念和意义的“内行人”,所以它很棒! 主要内容 ·1来自Wikibon社区的大数据宣言 ·2数据处理与分析:传统方式 ·3大数据性质的变化 ·4大数据处理和分析的新方法 4.1hadoop 4.2NoSQL 4.3大规模并【阅读全文】
hetingadd | 2015-05-11 16:55:58 | 阅读(60) | 评论(0)
近十年来,正是hadoop的出现和不断完善,让海量数据挖掘成为可能,为科研和IT业界带来了一场革命性的风暴。身处风暴中心的互联网企业们,更是将这 个工具发挥到极致,不但在该平台上运行无数的离线服务,还逐渐以更加开放的心态,反哺社区和学习者。作为目前使用最为广泛的大数据处理平台,把hadoop用起来很容易,但是要“用好”很难。【阅读全文】
Diy_os | 2015-05-04 23:51:10 | 阅读(1080) | 评论(0)
DicksonJYL560101 | 2015-04-25 20:58:02 | 阅读(1080) | 评论(0)
hetingadd | 2015-04-24 16:43:44 | 阅读(150) | 评论(0)
首先,不得不说,hadoop发展到现在这个阶段,代码已经变得非常庞大臃肿,如果你直接阅读最新版本的源代码,难度比较大,需要足够的耐心和时间,所以,如果你觉得认真一次,认真阅读一次hadoop源代码,一定要有足够的心理准备和时间预期。 其次,需要注意,阅读hadoop源代码的效率,因人而异,如果你有足够的分布式系统知识储备,看过类似的【阅读全文】
biggerl | 2015-04-10 15:46:41 | 阅读(450) | 评论(0)
参考文档: http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 【阅读全文】
dawn009 | 2015-04-07 08:08:51 | 阅读(3030) | 评论(0)
一文教你看懂大数据的技术生态圈 hadoop,hive,spark 2015-03-19MaXiaoYu腾讯大数据腾讯大数据 大数据本身是个很宽泛的概念,hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆,各有各的用处,互相之间又有重合。你可以用汤【阅读全文】
hetingadd | 2015-04-01 14:51:38 | 阅读(480) | 评论(0)
Facebook 在今年六月 SIGMOD 2011 上发表了一篇名为“Apache hadoop Goes Realtime at Facebook”的会议论文 ,介绍了 Facebook 为了打造一个实时的 HBase 系统使用到的独门秘技。由于该论文提到的应用场景与小弟负责的系统要解决的问题域有相似之处,因而抽时间仔细阅读了这篇论文。下面便是结合论文的内容,谈 一谈我的一些看法和感想,【阅读全文】