CDH4/5配置文件之深度解析
一.目录
二.实验1.web 界面,直接修改MapReduce的mapreduce.job.counters.max参数,从120改为150,单击【保存更改】按钮,直接修改到数据库, 而不同步更新到/ect/hadoop/* 和 /var/run/cloudera-scm-agent/process/*
A.这时界面会出现两个按钮:
1>.【过期配置:需要重启】
2>.【过期配置:需要重新部署客户端配置】
B.当我们单击【过期配置:需要重启】或者【过期配置:需要重新部署客户端配置】功能默认是一样的，都是a.重新部署客户端配置(默认勾选) ;b.立即重启集群
然后集群会做两件事:
1>.会更新/etc/hadoop/*目录
2>.同时也更新/var/run/cloudera-scm-agent/process/*目录
三.实验2.再次在web 界面,直接修改MapReduce的mapreduce.job.counters.max参数,从150改为180,单击【保存更改】按钮,直接修改到数据库
A.当我们单击【部署客户端配置】
1>.会更新/etc/hadoop/*目录
2>.同时也更新/var/run/cloudera-scm-agent/process/*目录,但只生成ccdeploy_*部署文件夹,但这时mapreduce 运行的mapreduce.job.counters.max值还是150，并没有改变为180，故可以重启mapreduce服务或者整个集群，来重新生成配置文件。
B.重启MapReduce单个服务
只更新/var/run/cloudera-scm-agent/process/*目录
#因为只重启MapReduce服务，没有重启其他服务，如Hive,所以就只更新MapReduce
四.个人理解总结:
cm web界面修改------>数据库表configs表------->/etc/hadoop/*------->/var/run/cloudera-scm-agent/process/*
1. a.web界面修改参数,保存,到configs表
2. b.重新部署客户端,到/etc/hadoop/的某个目录下,然后通过alternatives命令动态更新到conf文件夹;且会在/var/run/cloudera-scm-agent/process/目录下生成deploy文件夹
3. c.重启集群或者重启单个服务,会在/var/run/cloudera-scm-agent/process/目录下生成各个组件的运行的配置文件夹(是有序号标识的)
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/30089851/viewspace-2110288/ ，如需转载，请注明出处，否则将追究法律责任。
最新文章
- Resolving archive.cloudera.com... failed: Temporary failure in name
- 记录2018年底最后1次HBase故障维护
- Batch containing 11 record(s) expired due to timeout while requesting metadata
- 【记录】:CentOS清理swap和buffer/cache
- java.io.IOException: Connection reset by peer
- maven报错：找不到符号
- Kubernetes node的防火墙问题导致pod ip无法访问
- 基于CentOS6.4环境编译Spark-2.1.0源码
- 有幸参加上海专场Spark线下课程,谈谈感想
- Maven-3.3.9 Install and Oozie-4.3.0 Compile
