全部博文
-
编辑 删除
中小规模Hadoop集群优化【zz】
人人网的数据平台分为事前和事后两部分。事前数据分析是在开发阶段就有系统规划的统计点，事后数据分析恰恰相反，一般统计的是现有业务的历史。这两种方法是互补的，事先埋点的粒度更细，实时性更强，事后统计的适用范围更广，调整更灵活。 我们的事后数据分析用Hadoop搭建。这个集群从上个月开始遇到一系列性能问题，在逐一解决的过程中，积累了以下的优化经验。 1. 网络带宽 人人网的Hadoop集群现在有50台服务器组成，这50台服务器在规划时就在统一的交换机下，这是在官方文档中建议的部署方式。 但是我们的这台交换机和
