全部博文
-
编辑 删除
hadoop基础知识及hadoop集群搭建
公司的日志模块采用了facebook的scribe，将收集到的结果直接push到hadoop上，日志的相关统计工作均是通过map-reduce作业来完成。之前并非计算机专业，也对hadoop，mapreduce等不了解，工作要用。莫有办法，自学吧，特此留下一点自己的学习笔记。 一、hadoop介绍 常常提到hadoop，那么什么是hadoop？ 我们常常提到的hadoop，可以理解为一个平台，提供分布式存储（hdfs），分布式计算（map-reduce计算框架）。apache上，对“what is hadoop？”的回答如下（http://hadoop.apache.org/）：
