hadoop之 hadoop 机架感知
1.背景Hadoop在设计时考虑到数据的安全与高效,数据文件默认在HDFS上存放三份,存储策略为本地一份,同机架内其它某一节点上一份,不同机架的某一节点上一份。这样如果本地数据损坏,节点可以从同一机架内的相邻节点拿到数据,速度肯定比从跨机架节点上拿数据要快;同时,如果整个机架的网络出现异常,也能保证在其它...
oracle之 Oracle LOB 详解
一. 官方说明Oracle 11gR2 文档:LOB Storagehttp://download.oracle.com/docs/cd/E11882_01/appdev.112/e18294/adlob_tables.htm#ADLOB45267 Oracle 10gR2 文档:LOBs in Tableshttp://download.oracle.com/docs/cd/B19306_01/appdev.102/b14249/adlob_tables.htm#sthref165...
Spark之 spark简介、生态圈详解
来源:http://www.cnblogs.com/shishanyuan/p/4700615.html1、简介1.1 Spark简介Spark是加州大学伯克利分校AMP实验室(Algorithms, Machines, and People Lab)开发通用内存并行计算框架。Spark在2013年6月进入Apache成为孵化项目,8个月后成为Apache顶级项目,速度之快足见过人之处,Spark以其先进的设计理念,...
Linux之 linux7防火墙基本使用及详解
1、firewalld的基本使用启动: systemctl start firewalld查看状态: systemctl status firewalld 停止: systemctl disable firewalld禁用: systemctl stop firewalld 2.systemctl是CentOS7的服务管理工具中主要的工具,它融合之前service和chkconfig的功能于一体。启动一个...
linux之 ssh连接服务器,WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!
[root@zk01 ~]# ssh localhost@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY!Someone could be eavesdropping on you righ...
oracle之 关闭透明大页
方法一:1、设置/etc/grub.conf文件,添加 transparent_hugepage=never ,在系统启动是禁用[root@hbdw1 ~]# cat /etc/grub.conf # grub.conf generated by anaconda## Note that you do not have to rerun grub after making changes to this file# NOTICE: You have a /boot partition. This means tha...
oracle之 RAC 11G ASM下控制文件多路复用
如果数据库仅有一组control file文件,需要添加一组或者多组,保证一组文件损坏或者丢失导致数据库宕机。-- 环境说明SQL> select * from v$version;BANNER--------------------------------------------------------------------------------Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit...
oracle之 安装 11G RAC 报 NTP failed
问题描述: 使用 NTP 同步集群节点时间,安装 11G RAC 报 NTP 过不去。解决过程:-- 查看 /etc/sysconfig/ntpd 文件配置root@hbdw1:/root$cat /etc/sysconfig/ntpd# Drop root to id 'ntp:ntp' by default.OPTIONS="-u ntp:ntp -p /var/run/ntpd.pid -g"-- 所有节点,文件 /etc/sysconfig/ntpd 添...
linux之 LVM扩容
1、 查看本机现在磁盘的情况[root@oralce10g ~]# df Filesystem 1K-blocks Used Available Use% Mounted on/dev/mapper/vg_oralce10g-LogVol03 9591312 4765404 4338692 53% /tmpfs 883132 72 883060 1% /dev/shm/dev/sda1 198337 29991 158106 16% /boot/dev/mapper/vg_oralce10g-LogVol01 4031680 73636 375...
oracle 之 安装10.2.0.1 且 升级到 10.2.0.4
一、 centos 6.5 安装 oracle 10.2.0.11.安装操作系统,选择桌面环境2.配置本地yum源 , 可参考 http://blog.csdn.net/zhang123456456/article/details/566909453.补包yum -y install binutils compat-libstdc++-33 compat-libstdc++-33.i686 elfutils-libelf elfutils-libelf-devel gcc gcc-c++ glibc glib...
Linux之 增加swap空间
引言 :有时候我们会遇到安装os时候,swap分区过小,导致某些大软件无法安装的问题。我们可以在linux下增大swap分区的空间。以下的操作都要在root用户下执行:0、 记录原 swap 分区大小,用 free -m 查看1、首先先建立一个分区,采用dd命令比如dd if=/dev/zero of=/home/swap bs=1024 count=512000说...
oracle之 Got minus one from a read call 与 ORA-27154: post/wait create failed
在部署应用的时候,有时候应用可以直接启动,但偶尔应用却无法启动,报错信息是: java.sql.SQLRecoverableException: IO Error: Got minus one from a read call 如图:原因及解决方法我有好几个应用系统需要连接数据库,测试发现如果这个应用在最开始启动就不会报错,如果是启动了好几个应...
oracle之 监听器无法启动的几个原因总结
1)防火墙没关2)/etc/hosts配置问题,有可能误删了127.0.0.1的默认记录,添加默认记录[root@rac02 ~]# cat /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.localdomain63)/var/tmp/.oracle权限问题...
Hive之 数据类型
hive 目前支持的数据类型如下:-- 数值类型 Numeric TypesTINYINT (1-byte signed integer, from -128 to 127)SMALLINT (2-byte signed integer, from -32,768 to 32,767)INT/INTEGER (4-byte signed integer, from -2,147,483,648 to 2,147,483,647)BIGINT (8-byte signed integer, from -9,223,372,036,854,775...
Hive之 hive的三种使用方式(CLI、HWI、Thrift)
Hive有三种使用方式——CLI命令行,HWI(hie web interface)浏览器 以及 Thrift客户端连接方式。1、hive 命令行模式直接输入/hive/bin/hive的执行程序,或者输入 hive –service cli 用于linux平台命令行查询,查询语句基本跟MySQL查询语句类似2、hive web界面的启...
Hive之 hive架构
Hive架构图主要分为以下几个部分:用户接口,包括 命令行CLI,Client,Web界面WUI,JDBC/ODBC接口等中间件:包括thrift接口和JDBC/ODBC的服务端,用于整合Hive和其他程序。元数据metadat...
Hive之 数据存储
首先,Hive 没有专门的数据存储格式,也没有为数据建立索引,用户可以非常自由的组织 Hive 中的表,只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符,Hive 就可以解析数据。 其次,Hive 中所有的数据都存储在 HDFS 中,Hive 中包含以下数据模型:Table,External Table,Partition,Bu...
Hive之 Hql语法解析
Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需要的内容,这套SQL 简称Hive SQL,...
Hive之 hive与hadoop的联系
Hive与Hadoop调用图解析...
Hive之 hive与rdbms对比
对比图总结:Hive并非为联机事务处理而设计,Hive并不提供实时的查询和基于行级的数据更新操作。Hive是...