0. 体系架构
CM 分为 Server 与 Agent 两部分及数据库（自带更改过的嵌入 Postgresql ）。它主要做三件事件：
1. 管理监控集群主机。
2. 统一管理配置。
3. 管理维护 Hadoop 平台系统。
实现采用 C/S 结构， Agent 为客户端负责执行服务端发来的命令，执行方式一般为使用 python 调用相应的服务 shell 脚本。 Server 端为 Java REST 服务，提供 REST API ， Web 管理端通过 REST API 调用 Server 端功能， Web 界面使用富客户端技术（ Knockout ）。
1. Server 端主体使用 Java 实现。
2. Agent 端主体使用 Python, 服务的启动通过调用相应的 shell 脚本进行启动，如果启动失败会重复 4 次调用启动脚本。
3. Agent 与 Server 保持心跳，使用 Thrift RPC 框架。
1. 相关目录
· /opt/cloudera/parcels/ : Hadoop 相关服务安装目录。
· /opt/cloudera/parcel-repo/ : 下载的服务软件包数据，数据格式为 parcels 。
· /opt/cloudera/parcel-cache/ : 下载的服务软件包缓存数据。
· /opt/cloudera/parcels/CDH/jars : 所有 jar 包所在目录
· /var/log/cloudera-scm-installer : 安装日志目录
· /var/log/cloudera-scm -* : 相关日志文件（相关服务的及 CM 的）
· /usr/share/cmf/ : 程序安装目录
· /usr/lib64/cmf/ : Agent 程序代码
· /var/lib/cloudera-scm-server-db/data : 内嵌 postgresql 数据库目录
· /var/lib/cloudera-scm-server : 服务端目录
· /usr/bin/postgres : 内嵌数据库程序
· /etc/cloudera-scm-agent/ : cm agent 的配置目录。
· /etc/cloudera-scm-agent/ config.ini ： 配置连接服务端的配置 , 如 server_host
· /etc/cloudera-scm-server/ : cm server 的配置目录。
· /etc/cloudera-scm- server / db.properties ： database settings
· /etc/hadoop/* ： hadoop 客户端配置目录
·
/etc/hive/
：
hive
的配置目录
2. 配置及环境变量
·
CDH4/5配置文件之深
度解析:
http://blog.itpub.net/30089851/viewspace-2110288/
CDH 安装完成后, 服务启动时,Hadoop 各组件配置文件会被放置于 /var/run/cloudera-scm-agent/process/ 目录下。
例如： /var/run/cloudera-scm-agent/process/193-hdfs-NAMENODE/core-site.xml 。这些配置文件是通过 Cloudera Manager 启动相应服务（如 HDFS ）时生成的，内容从数据库中获得（即通过界面配置的参数）。
在 CM 界面上更改配置是不会立即反映到配置文件中，这些信息会存储于数据库中，等下次重启服务时才会生成配置文件。且每次启动时都会产生新的配置文件。
CM Server 主要数据库为 scm/cmf 中放置配置的数据表为 configs 。里面包含了服务的配置信息
每一次配置的更改会把当前页面的所有配置内容添加到数据库中，以此保存配置修改历史。
· 查看配置内容
a. 直接查询 cmf 数据库的 configs 数据表的内容。
b. 访问 REST API ： http://172.16.101.66:7180/api/v4/cm/deployment ，返回 JSON 格 式部署配置信息。
· 配置生成方式
CM
为每个服务进程生成独立的配置目录（文件）。所有配置统一在服务端查询数据库生成（因为
scm
/cmf
数据库只能在
localhost
下访问）生成配置文件，再由
agent
通过网络下载包含配置文件的
zip
包到本地解压到指定的目录。
· 配置修改
CM 对于需要修改的配置预先定义，对于没有预先定义的配置 , 则通过在高级配置项中使用 xml 配置片段的方式进行配置。而对于 /etc/hadoop/ 下的配置文件是客户端的配置，可以在 CM 通过部署客户端生成客户端配置。
· 环境变量脚本 :/opt/cloudera/parcels/CDH/meta/cdh_env.sh
CDH_HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
HADOOP_BIN=/opt/cloudera/parcels/CDH/lib/hadoop-0.20-mapreduce/bin/Hadoop
#CM
客户端
/
服务端、
Hadoop
各个组件的配置文件都在
/etc
目录下
| HDFS | Active NameNode 数据目录 dfs.name.dir | /dfs/nn |
| Standby NameNode 数据目录 dfs.name.dir | /dfs/nn | |
| Secondary NameNode HDFS 检查点目录fs.checkpoint.dir | /dfs/nn | |
| 日志目录hadoop.log.dir | /var/log/hadoop-hdfs | |
| MapReduce | JobTracker 本地数据目录mapred.local.dir | /mapred/jt |
| TaskTracker 本地数据目录列表mapred.local.dir | /mapred/local | |
| 日志目录hadoop.log.dir | /var/log/hadoop-0.20-mapreduce | |
| Hive | 仓库目录hive.metastore.warehouse.dir | /user/hive/warehouse |
| HiveServer2 日志目录 | /var/log/hive | |
| Zookeeper | 数据目录dataDir | /var/lib/zookeeper |
| 事务日志目录dataLogDir | /var/lib/zookeeper |
3. CM 常用命令
service cloudera-scm-server start|stop|restart|status
service cloudera-scm-server-db start|stop|restart|status
service cloudera-scm-agent start|stop|restart|status
查看进程 :jps / jps -l
4. Hadoop Shell
http://www.aboutyun.com/thread-6983-1-1.html
http://www.wjxfpf.com/2015/10/472510.html
hadoop fs -ls /: 列出 hdfs 文件系统根目录下的目录和文 件
hadoop fs -ls -R /: 列出 hdfs 文件系统所有的目录和文 件
hadoop dfsadmin –report : 查看文件系统的基本信息和统计信息
5. MapReduce
6. Yarn
7. Hive
8. Zookeeper
9. See
How Does Cloudera Manager Work?
来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31439905/viewspace-2134540/，如需转载，请注明出处，否则将追究法律责任。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/69956584/viewspace-2666980/ ，如需转载，请注明出处，否则将追究法律责任。
