全部博文
-
编辑 删除
Map/Reduce Task JVM 堆大小设置优化
前一阵子发现用户提交的hivequery和hadoopjob会导致集群的load非常高，经查看配置，发现很多用户擅自将mapred.child.java.opts设置的非常大，比如-Xmx4096m(我们默认设置是-Xmx1024m),导致了tasktracker上内存资源耗尽，进而开始不断swa
-
编辑 删除
Hive Metastore Thrift Server Partition压力测试
测试环境:虚拟机10.1.77.84四核Intel(R)Xeon(R)CPUE5649@2.53GHz，8G内存起单台metastoreserverJVMargs:-Xmx7000m-XX:ParallelGCThreads=8-XX:+UseConcMarkSweepGC测试表Schema:tab
-
编辑 删除
Hive小文件合并调研
背景Hivequery将运算好的数据写回hdfs（比如insertinto语句），有时候会产生大量的小文件，如果不采用CombineHiveInputFormat就对这些小文件进行操作的话会产生大量的maptask，耗费大量集群资源，而且小文件过多会对namenode造成很大压力。所以Hive在正常
