ITPub博客

一、采用163版本的repo制作yum源1.下载对应版本repo文件, 放入/etc/yum.repos.d/(操作前请做好相应备份)mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup[root@sht-sgmhadoopdn-01 yum.repos.d]# wget http://mirrors.163.com/.help/CentOS6-Base-163.repo[root...

注：操作系统 CentOS 6.X ,CentOS 5.X EPEL，即Extra Packages for Enterprise Linux(http://fedoraproject.org/wiki/EPEL) 是由 Fedora 社区打造，为 RHEL 及衍生发行版如 CentOS、Scientific Linux 等提供高质量软件包的项目。在这里可以获得 RHEL 的高质量、高性能、高可靠性、免费、方便易用的软件包。 今天...

?在部署好CDH5(HDFS+MapReduce+Zookeeper)后,某一天想要通过web界面来添加Hive或者Oozie服务。?添加Hive组件服务:1.报错:Unexpected error.Unable to verify database connection2.解决办法(曲线救国的办法):?a.先选hive的服务节点,从namenode节点改为cm节点,这样就会在cm节点上创建角色?b.等部...

参考:http://my.oschina.net/cloudcoder/blog/179381       http://www.linuxidc.com/Linux/2012-02/55102.htm 查看CDH 的hdfs的配置,是否开启trash 及 保留时间: 测试: 点击(此处)折叠或打开1.创建test.txt [root@sht-sgmhadoopnn-01 ~]#...

Hi,Sir? ? Recently,I'm learning CDH5,I'm not very understand that the relation between /etc/hadoop/* directory and /var/run/cloudera-scm-agent/process/* directory.And Idon't kown that who the two directory are in the first ,who last.? ? I kown that the?...

背景：公司在线上使用了CDH5集群，一开始由于疏忽，忘记了在计划任务中定期执行Balancer来平衡各节点的数据。后来，在引入大量的Job之后，数据增长非常迅猛，有很多节点开始出现利用率超过99.9%的情况，部分Job甚至开始Failed。于是我们便执行Balancer来清理数据，结果发现有26T的数据需要平衡，而Balancer每次只移...

Exam Sections and Blueprint1. HDFS (17%)Describe the function of HDFS daemonsDescribe the normal operation of an Apache Hadoop cluster, both in data storage and in data processingIdentify current features of computing systems that motivate a system like Apache Hadoop...

吐槽最近“闲”来无事，通过CM把vcores使用情况调出来看了一眼，发现不论集群中有多少个任务在跑，已分配的VCores始终不会超过120。而集群的可用Vcores是360（15台机器×24虚拟核）。这就相当于CPU资源只用到了1/3，作为一个半强迫症患者绝对不能容忍这样的事情发生。分析的过程不表，其实很简单就是几个参数的问...

1.机器环境:前几天,要在 阿里环境装两套CDH的产品环境,其中一套CDH5在安装过程就抛错"Exhausted available authentication methods" 其中的抛错的机器是运维从stage环境机器上,copy的镜像做的新的机器。2.在哪步出错: 在安装CDH5过程中，输完hadoop用户和密码的下一步(集群安装)，web开始刷新数据源抛错: Exhaust...

一.背景:       公司CDH5集群已经部署完毕,需要通过web界面添加hive组件,一般来说通过web界面来添加,会报两个错误,一个是配置hive的元数据的/usr/share/java/mysql-connector-java.jar驱动包,还有一个错误就是如图: 二.错误明细: ++ exec /opt/cloudera/parcels/CDH/lib/hadoop/bin/hadoop j...

一.目录   B.重启MapReduce单个服务 只更新/var/run/cloudera-scm-agent/process/*目录 #因为只重启MapReduce服务，没有重启其他服务，如Hive,所以就只更新MapReduce 四.个人理解总结:     cm web界面修改------>数据库表configs表...

Stop:1.cm web http://172.16.102.63:7180/a.stop Cluster1b.stop Cloudera Management Service2.stop agent and server[root@sh-datascienceresearch-01 ~]# service cloudera-scm-agent stop[root@sh-datascienceresearch-02 ~]# service cloudera-scm-agent stop[root@sh-datascienceresearch-03 ~]# servic...

 一.问题 CDH requires that you configure the NetworkTime Protocol (NTP) service on each machine in your cluster. To start NTPand configure it to run automatically on reboot, perform the following steps oneach node in your cluster. 报错：  1）此角色的主机的运行状况为不良...

1.想使用hadoop命令,发现无效[root@hadoopnn-01 ~]# which hadoop/usr/bin/which: no hadoop in (/usr/java/jdk1.7.0_67-cloudera/bin:/usr/java/jdk1.7.0_67-cloudera/bin:/usr/lib64/qt-3.3/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin)2.进/usr/bin/目录查看hadoop[root@hadoop...

1.问题:在CDH5.x或者Apache环境下，配置了NameNode的HA后，Hive无正常查询数据了。Hive查询会出现如下异常：点击(此处)折叠或打开FAILED: SemanticException Unable to determine if hdfs://hadoop-01:8020/user/hive/warehouse/t1 is encrypted: j...

1.现象： home界面和主机界面的图表和各组件状态标识符都是灰色（正常是绿色） 2.尝试方法：2.0 检查防火墙，python有无升级，是否ping通 2.1 尝试web重启 cloudera management service 和 Cluster1 2.2 尝试重启 cloudera-scm-agent 和 cloudera-scm-server2.3 尝试2.1节时，实时查看 tail -f /var/log/c...

cloudera

1.当前环境使用的稳定版本组合a.本套环境CDH经过四次升级，当然版本为CDH-5.10.0-1.cdh5.10.0.p0.41b.KAFKA版本为KAFKA-2.1.0-1.2.1.0.p0.115c.SPARK2版本为SPARK2-2.0.0.cloudera1-1.cdh5.7.0.p0.113931 2.Spark2安装排查分析你在Hosts-->Parcels页会发现，Spark2可以升级到该版本的release的2.0.0.cloudera2...

错误:   在web界面安装 agent那一步，抛错，单击信息查看如下 初步分析： 是用localhost:7182 无法连接scm server 尝试解决办法: 1.检查关闭防火墙 2.检查python版本2.6.6 3.检查/etc/hosts文件,重启网络service network restart 4.检查/etc/resolv.conf文件,重启网络service network restart 5.检...

Will not attempt to authenticate using SASL (unknown error)java.lang.OutOfMemoryError: Java heap spacekafka 安装不上