ITPub博客

5、修改挂载点的属性[root@hadoop1~]#chmod777/home/hadoop/.ssh/6、重启nfs[root@hadoop1~]#servicenfsrestartShuttingdownNFSmountd:[FAILED]ShuttingdownNFSdaemon:[FAILE

一、实验说明1、本实验将使用DNS而不是hosts文件解析主机名；2、使用NFS共享密钥文件，而不是逐个手工拷贝添加密钥；3、复制Hadoop时使用批量拷贝脚本而不是逐台复制。测试环境：HostnameIPHadoop版本Hadoop功能系统hadoop1192.168.1.1610.20.0nam

、背景分布式的集群通常包含非常多的机器，由于受到机器槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架之间的网络速度，并且机架之间机器的网络通信常受到上层交换机间网络带宽的限制。具体到Hadoop集群，

一、集群环境：HostnameIPHadoop版本Hadoop功能系统node1192.168.1.1510.20.0namenodehive+sqooprhel5.4X86node2192.168.1.1520.20.0datanodemysqlrhel5.4X86node3192.168.1.1

一、Hive将元数据存储在RDBMS中，有三种模式可以连接到数据：1、singleUserMode：此模式连接到一个In-memory的数据库Derby，一般用于UnitTest。2、MultiUserMode：通过网络连接到一个数据库中，是最经常使用到的模式。3、RemoteServerMode：

使用root用户启动hadoop的时候报错：[root@node1~]#su-hadoop-cstart-all.shstartingnamenode,loggingto/app/hadoop/bin/../logs/hadoop-hadoop-namenode-node1.out192.168.1

一、Hive简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用

一、SecondaryNameNode概念：光从字面上来理解，很容易让一些初学者先入为主：SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其实不是。ssn是HDFS架构中的一个组成部分，但是经常由于名字而被人误解它真正的用途，其实它真正的用途，是用来保存namen

方法二：使用hadoopnamenode-importCheckpoint1、删除name目录：1[hadoop@node1hdfs]$rm-rfname2、关闭集群，从secondarynamenode拷贝namesecondary目录到dfs.name.dir：[hadoop@node2hdfs

方法一、使用namespaceID1、在namenode节点上，将dfs.name.dir指定的目录中(这里是name目录)的内容情况，以此来模拟故障发生。1[hadoop@node1name]$ls2currentimagein_use.lock3[hadoop@node1name]$rm-rf*

一、配置文件列表如下：[hadoop@node1conf]$pwd/app/hadoop/conf[hadoop@node1conf]$echo$HADOOP_HOME/app/hadoop[hadoop@node1conf]$ll总计60-rw-rw-r--1hadoophadoop3936201

1、内存Hadoop为各个守护进程(namenode,secondarynamenode,jobtracker,datanode,tasktracker)统一分配的内存在hadoop-env.sh中设置，参数为HADOOP_HEAPSIZE，默认为1000M。大部分情况下，这个统一设置的值可能并不适

在创建表的时候报出如下错误：hive>createtableifnotexiststestfile_table(>sitestring,>urlstring,>pvbigint,>labelstring)>rowformatdelimited>fieldst

hive文件存储格式包括以下几类：1、TEXTFILE2、SEQUENCEFILE3、RCFILE4、ORCFILE(0.11以后出现)其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理；SEQUENCEFILE，RCFILE，ORCFI

一、问题：在使用Hive0.11进行select查询的时候报：hive>createtablezhifu2asselectdistinctuid,substr(time,1,12),sitefromzhifu;TotalMapReducejobs=1LaunchingJob1outof1Num

一、hadoopbalance工具的用法：启动balance：bin/start-balancer.sh-threshold5停止balance:bin/stop-balancer.sh二、影响hadoopbalance工具的几个参数：-threshold默认设置：10，参数取值范围：0-100，参

一、回收站简介：在HDFS里，删除文件时，不会真正的删除，其实是放入回收站/trash，回收站里的文件可以快速恢复。可以设置一个时间阀值，当回收站里文件的存放时间超过这个阀值或是回收站被清空时，文件才会被彻底删除，并且释放占用的数据块。二、实例：Hadoop的回收站trash功能默认是关闭的，所以需

4.distcpbin/hadoopdistcp递归地拷贝文件或目录。参考DistCp指南以获取等多信息。用法：hadoopdistcp<srcurl><desturl>srcurl源Urldesturl目标Urldaemonlog获取或设置每个守护进程的日志级别。用法：ha

返回值：成功返回0，失败返回-1。16)movefromLocal使用方法：dfs-moveFromLocal<src><dst>输出一个”notimplemented“信息。17)mv使用方法：hadoopfs-mvURI[URI…]<dest>将文件从源路径移

.FSShell1.1简介调用文件系统(FS)Shell命令应使用bin/hadoopfs<args>的形式。所有的的FSshell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，sche