全部博文
-
编辑 删除
淘宝Hadoop集群（转）
中国超大规模的单Master节点Hadoop集群在哪里? 在淘宝。 据悉，淘宝Hadoop集群拥有2860个节点，清一色基于英特尔处理器的x86服务器，其总存储容量50PB，实际使用容量超过40PB，日均作业数高达15万，为淘宝网的日常运营做出了关键支撑。对了，它还有一个很美丽的名字：“云梯”。 近日，《网络世界》记者有幸采访到了阿里集团技术共享平台核心系统研发部海量数据技术专家罗李。作为淘宝“云梯”集群元老级创建者，以及目前的负责人，他详细讲解了Hadoop在淘宝的应用与发展。 “云梯”的前世今生 “在2008年之前，淘宝内部一些业
