ITPub博客

环境说明：        1、VM10虚拟机        2、系统：centos6.5        3、Hadoop：hadoop-2.6.0-cdh5.7.0        4、JDK：jdk1.8.0_45 &nbsp...

hive数据库”的编码，在MySQL下执行命令：ruozedb是在hive.site.xml文件中的MySQL连接URL指定的数据库。     2.1 登录MySQL数据库查看Database：        mysql> show databases;        +-------------...

一、MapReduce2架构设计(与MapReduce1对比)    1. MapReduce1架构设计    Client: 客户端        JobTracker: 主要负责资源监控管理和作业调度。        a.监控所有TaskTracker与job的健康...

在Hadoop2.x中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container。使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示             YARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应用(比如MapR...

Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。在YARN集群中，平衡内存、CPU、磁盘...

HDFS会为每一个用户创建一个回收站目录：/user/用户名/.Trash/，每一个被用户通过Shell删除的文件/目录，在系统回收站中都一个周期，也就是当系统回收站中的文件/目录在一段时间之后没有被用户恢复的话，HDFS就会自动的把这个文件/目录彻底删除，之后，用户就永远也找不回这个文件/目录了。1. HDFS默认会关闭回收站功能...

1.  shell脚本的执行顺序是从上而下的，面向过程。2.  文件名称格式: xxx.sh3.  文件内容的第一行: #!/bin/bash4.  shell脚本就是将命令全部融合在一起5.  定义变量    shell脚本的变量是以：key=value 定义的，注意：=两边不能有空格    静态变量定义：a='www.ruozeda...

1  介绍      Hadoop文件系统（FS）默认提供了各种shell命令，可用于与Hadoop分布式文件系统（HDFS）或任何其他使用Hadoop Shell的支持文件系统进行交互。 一些最常用的命令是用于诸如创建目录，复制文件，查看文件内容，更改文件的所有权或权限等操作。   &nbsp...

1. pid默认存储在/tmp目录中，pid文件的内容为进程号    [hadoop@hadoop002 ~]$ cd /tmp    [hadoop@hadoop002 tmp]$ pwd    /tmp    [hadoop@hadoop002 tmp]$ ll    total 132    drwxrw...

drwxr-xr-xhadoop rwxsupergroup r-xother r-x1. root用户上传文件到hdfs的权限问题：    su -c  命令： -c command 或 --command=command 变更为帐号为 USER 的使用者并执行指令（command）后再变回原来使用者。    以下命令是root用户使用 hado...

1. 先看看官网伪分布式关于yarn的配置信息：官网地址：http://hadoop.apache.org/docs/r2.8.4/hadoop-project-dist/hadoop-common/SingleCluster.html2. yarn 的配置操作    yarn的两个进程:     ResourceManager （资源管理）     NodeManage...

1. 解压缩 /opt/software/hadoop-2.8.1.tar.gz 文件     [root@hadoop002 software]$ cd   /opt/software/    [root@hadoop002 software]$ pwd    /opt/software    [root@hadoop002 softwa...

最近在一个oracle11g数据库里面新建了一个job，job不会在设定的时间执行。但是手动执行是可以的。后来网上找到是因为job_queue_processes的参数设置问题：1. job_queue_processes取值范围为0到10002. 当设定该值为0的时候则任意方式创建的job都不会运行。3. 当设定该值大于1时，且并行执行job时，至少一个为协...

1. hadoop-2.8.1源代码下载    #先在/opt下面创建software和sourcecode文件夹    [root@hadoop001 ~]# mkdir -p /opt/sourcecode /opt/software    [root@hadoop001 sourcecode]# cd  /opt/sourcecode    [root@hadoo...

在生成环境中，因为业务的需求，需要对临时表进行处理。如果说临时表在使用中，被占用，操作就会报错。针对这种问题，解决方法如下：（1）---查找还在使用临时表的会话   SELECT           sid         ,serial#      FROM v$s...

1.在CentOS6 上 MySQL重新部署    1.1  先删除 日志文件和数据文件           rm -rf arch/*  data/*          1.2   再进行安装           ...

1.rz sz   上传和下载命令    yum install lszrz    安装    rz: window-->linux    上传    sz: linux-->window    下载2.作业调度    crontab        &nbsp...

1.权限    读:      r 4    写:      w 2    执行:   x 1  shell脚本    无权限：-    [root@hadoop001 ~]# ll    total 104  ...

1. ifconfig 查看当前ip2. 文件创建  vi xxx.log    创建文件。输入内容后保存退出，创建一个非空文件；不输入内容保存退出，创建一个空文件。   touch xxx.log 创建一个空的文件。3. 文件夹创建    mkdir xxx  创建1层    ...

一、创建新的虚拟机，命名CentOS6.5 1、在VMware Workstation 8 主页中选择 文件 -- 》 新的虚拟机2、选择 自定义（高级）配置。3、默认，下一步。4、选择 我以后再安装操作系统。5、选择 Linux操作系统， 版本选择CentOS 64-bit，下一步。6、设置自定义虚拟机名称，这里设置为“hadoop000...