ITPub博客

 Hadoop1.x构成： HDFS、MapReduce(资源管理和任务调度)；运行时环境为JobTracker和TaskTracker；Hadoop2.0构成：HDFS、MapReduce/其他计算框架、YARN； 运行时环境为YARN　　1、HDFS：HA、NameNode Federation　　2、MapReduce/其他计算框架：运行在YARN之上的MapReduce通常称之为MapReduce2.0...

环境：[root@hadp-master hadoop-2.7.4]# hadoop versionHadoop 2.7.4Hadoop的日志大致可以分为两类：（1）、Hadoop系统服务输出的日志；（2）、Mapreduce程序输出来的日志。这两类的日志存放的路径是不一样的。本文基于Hadoop 2.x版本进行说明的，其中有些地方在Hadoop 1.x中是没有的，请周知。一、Hadoop...

一、zkServer.sh1、查看 zkServer.sh 帮助信息[root@bigdata05 bin]# ./zkServer.sh helpZooKeeper JMX enabled by defaultUsing config: /bigdata/zookeeper-3.4.10/bin/../conf/zoo.cfgUsage: ./zkServer.sh {start|start-foreground|stop|restart|status|upgrade|print-cmd}2、 启动/关闭 zk服务器[root@...

下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'添加记录 put '表名称', '行名称', '列名称:', '值'查看记录get '表名称', '行名称'查看表中的记录总数count '表名称'删除记录delete '表名'...

问题： hadoop启动的时候报错HTTP ERROR 500 Problem accessing /nn_browsedfscontent.jsp. Reason: Cannot issue delegation token. Name node is in safe mode. The reported blocks 0 needs additional 10 blocks to reach the threshold 0.9990 of total blocks 10. Safe mode will be ...

1.背景Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；同时，如果整个机架的网络出现异常，也能保证在其它...

一.  官方说明Oracle 11gR2 文档：LOB Storagehttp://download.oracle.com/docs/cd/E11882_01/appdev.112/e18294/adlob_tables.htm#ADLOB45267 Oracle 10gR2 文档：LOBs in Tableshttp://download.oracle.com/docs/cd/B19306_01/appdev.102/b14249/adlob_tables.htm#sthref165...

来源：http://www.cnblogs.com/shishanyuan/p/4700615.html1、简介1.1 Spark简介Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发通用内存并行计算框架。Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处，Spark以其先进的设计理念，...

1、firewalld的基本使用启动： systemctl start firewalld查看状态： systemctl status firewalld 停止： systemctl disable firewalld禁用： systemctl stop firewalld 2.systemctl是CentOS7的服务管理工具中主要的工具，它融合之前service和chkconfig的功能于一体。启动一个...

[root@zk01 ~]# ssh localhost@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY!Someone could be eavesdropping on you righ...

方法一：1、设置/etc/grub.conf文件，添加 transparent_hugepage=never ，在系统启动是禁用[root@hbdw1 ~]# cat /etc/grub.conf # grub.conf generated by anaconda## Note that you do not have to rerun grub after making changes to this file# NOTICE: You have a /boot partition. This means tha...

如果数据库仅有一组control file文件，需要添加一组或者多组，保证一组文件损坏或者丢失导致数据库宕机。-- 环境说明SQL> select * from v$version;BANNER--------------------------------------------------------------------------------Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit...

 问题描述： 使用 NTP 同步集群节点时间，安装 11G RAC 报 NTP 过不去。解决过程：-- 查看 /etc/sysconfig/ntpd 文件配置root@hbdw1:/root$cat /etc/sysconfig/ntpd# Drop root to id 'ntp:ntp' by default.OPTIONS="-u ntp:ntp -p /var/run/ntpd.pid -g"-- 所有节点，文件 /etc/sysconfig/ntpd 添...

1、 查看本机现在磁盘的情况[root@oralce10g ~]# df Filesystem 1K-blocks Used Available Use% Mounted on/dev/mapper/vg_oralce10g-LogVol03 9591312 4765404 4338692 53% /tmpfs 883132 72 883060 1% /dev/shm/dev/sda1 198337 29991 158106 16% /boot/dev/mapper/vg_oralce10g-LogVol01 4031680 73636 375...

一、 centos 6.5 安装 oracle 10.2.0.11.安装操作系统，选择桌面环境2.配置本地yum源 ， 可参考 http://blog.csdn.net/zhang123456456/article/details/566909453.补包yum -y install binutils compat-libstdc++-33 compat-libstdc++-33.i686 elfutils-libelf elfutils-libelf-devel gcc gcc-c++ glibc glib...

引言 ：有时候我们会遇到安装os时候,swap分区过小，导致某些大软件无法安装的问题。我们可以在linux下增大swap分区的空间。以下的操作都要在root用户下执行：0、 记录原 swap 分区大小，用 free -m 查看1、首先先建立一个分区，采用dd命令比如dd if=/dev/zero of=/home/swap bs=1024 count=512000说...

在部署应用的时候，有时候应用可以直接启动，但偶尔应用却无法启动，报错信息是： java.sql.SQLRecoverableException: IO Error: Got minus one from a read call  如图：原因及解决方法我有好几个应用系统需要连接数据库，测试发现如果这个应用在最开始启动就不会报错，如果是启动了好几个应...

1）防火墙没关2）/etc/hosts配置问题，有可能误删了127.0.0.1的默认记录，添加默认记录[root@rac02 ~]# cat /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.localdomain63）/var/tmp/.oracle权限问题...

hive 目前支持的数据类型如下：-- 数值类型 Numeric TypesTINYINT (1-byte signed integer, from -128 to 127)SMALLINT (2-byte signed integer, from -32,768 to 32,767)INT/INTEGER (4-byte signed integer, from -2,147,483,648 to 2,147,483,647)BIGINT (8-byte signed integer, from -9,223,372,036,854,775...

Hive有三种使用方式——CLI命令行，HWI（hie web interface）浏览器 以及 Thrift客户端连接方式。1、hive  命令行模式直接输入/hive/bin/hive的执行程序，或者输入 hive –service cli       用于linux平台命令行查询，查询语句基本跟MySQL查询语句类似2、hive  web界面的启...