全部博文
-
编辑 删除
Netflix开源Hadoop集群调度工具：日处理近万作业、上千TB数据
摘要：为了满足业务需求，他们自建基于S3的Hadoop集群调度工具——Genie。Genie在Netflix投入使用后，日分配近万的Hadoop作业，处理上千TB的数据。现Genie已于GitHub上开源。 之前的报道中，从架构的角度剖析了Netflix的大规模Hadoop作业调度工具。其储存主要基于Amazon S3（Simple Storage Service），利用云的弹性来运行多个Hadoop集群的动态调整，从而应对不同类型的工作负载，这个可横向扩展的Hadoop平台即服务就被称为Genie。而近日，这头来自Netflix的妖怪终于被放出神灯， 于GitHub上开源 。在这里不得不感叹一句
