Hive之 hive-1.2.1 + hadoop 2.7.4 集群安装
一、 相关概念Hive Metastore有三种配置方式,分别是:Embedded Metastore Database (Derby) 内嵌模式Local Metastore Server 本地元存储Remote Metastore Server 远程元存储1.1 Metadata、Metastore作用metadata即元数据。元数据包含用Hive创建的database、tabel等的元信息。元数据存储在关系型数据库中...
大数据之 ZooKeeper原理及其在Hadoop和HBase中的应用
ZooKeeper是一个开源的分布式协调服务,由雅虎创建,是Google Chubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。简介ZooKeeper是一个开源的分布式协调服务,由雅虎创建,是Google C...
oracle之 RAC本地数据文件迁移至ASM
系统环境:CentOS release 6.7 (Final)Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit操作过程:1、添加数据文件或者创建表空间时,误操作将路径指定为单节点本地SQL> alter tablespace users add datafile '/home/oracle/test.dbf' size 4m;Tablespace altered.SQL> set l...
oracle12c之 表空间维护总结
1.1、创建永久表空间In the CDB:SQL> CONNECT system@cdb1SQL> CREATE TABLESPACE cdb_users DATAFILE'/home/oracle/app/oracle/oradata/andycdb/cdb_users01.dbf'SIZE 5Mautoextend offsegment space management auto extent management local;In the PDB:SQL> CONNECT system@PDB01SQL> CREATE T...
oracle12之 多租户容器数据库架构
解读:这张幻灯片展示了三个被部署的应用程序的整合 三个不同的非cdbs成为一个单一的。幻灯片中的图形显示了一个多租户 容器数据库有四个容器:根和三个可插入的数据库。每一个 可插入数据库有它自己的专用应用程序,由它自己的DBA管理 或者由容器管理员管理。可插入数据库是一组数据库模式,它们在逻辑上对用...
Oracle12c之 CDB数据库中数据字典架构
数据字典就是元数据的集合,比如创建的表,列,约束,触发器等等这些都是元数据,需要保存到数据库中。除此之外,Oracle自身的一些数据库对象,如目录,PL/SQL代码等等这些都是元数据,都需要存放在数据字典中。随着12c 容器数据的普及,Oracle数据字典发生了哪些变化呢,下文即是具体描述。一、数据字典及其形成...
oracle之 11g RAC R2 体系结构---Grid
-- 查看cluster 所维护的资源列表,不包括 OHAS 栈的 daemon [root@node1 bin]# ./crsctl status resource -t--------------------------------------------------------------------------------NAME TARGET STATE SERVER STATE_DETAILS -------------------------------------------------------...
oracle之 RAC Interconnect之HAIP
0、 背景Oracle 从11.2.0.2开始引入了一个新特性叫做Redundant Interconnect,简称HAIP。HAIP的目的用来代替操作系统级别的网卡绑定以实现Active-Active的模式进行数据传输。一来可以实现传统操作系统网卡绑定带来的故障转移的功能,另一方面则可以更加充分利用其负载均衡的特性最大程度的减少因为gc等待带来的性能问...
oracle12c之 单机12.1.0.1打补丁
1、 下载最新的12.1.0.1的DB PSU 与 OPatchp23054354_121010_Linux-x86-64.zipp6880880_121010_Linux-x86-64.zip2. 检查数据库当前OPatch版本[oracle@host-172-16-3-132 ~]$ $ORACLE_HOME/OPatch/opatch versionOPatch Version: 12.1.0.1.0OPatch succeeded.3. 更新OPatch[oracle@host-172-16-3-132 ~]$ ec...
oracle之 oracle database vault(数据库保险库)
在12c建库中 Database Vault 与 Label Security 选项,之前没有留意过,特意记录一下12.1 中:12.2 中: 转载:http://www.linuxidc.com/Linux/2011-12/48689p2.htm本篇包含如下内容:· 什么是Oracle&...
oracle12c之 12.1.0.1.0 C 在 linux 7 上安装报错处理
环境说明:-- os[root@host-172-16-3-132 ~]# cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core)-- db version SQL> select * from v$version where rownum
Linux之 xstart调用 x11vnc远程图形化桌面
问题:用 xmanager 中的 xstart 启动界面,报x11无法打开 。1、 root调整x11参数,将其打开[root@localhost ~]# vi /etc/ssh/sshd_config[root@localhost ~]# systemctl restart sshd[root@localhost ~]# systemctl status sshd 2、打开 xmanager 中的 xstart , 配置如下 ...
oracle之 利用 controlfile trace文件重建控制文件
一、 11g RAC 重建控制文件1、 --"create controlfile"命令生成到追踪文件中:alter database backup controlfile to trace;2、 --确认追踪文件的路径:SQL> select value from v$diag_info where name='Default Trace File';3、 -- 截取脚本 在追踪文件中找到并执行NORESETLOGS版本的"create controlfile"...
oracle之 v$sql_monitor 监视正在运行的SQL语句的统计信息
11g中引入了新的动态性能视图V$SQL_MONITOR,该视图用以显示Oracle监视的SQL语句信息。SQL监视会对那些并行执行或者消耗5秒以上cpu时间或I/O时间的SQL语句自动启动,同时在V$SQL_MONITOR视图中产生一条记录。当SQL语句正在执行,V$SQL_MONITOR视图中的统计信息将被实时刷新,频率为每秒1次。SQL语句执行完成后,监视信息...
Oracle之 服务启动&停止脚本与开机自启动(单实例)
环境说明:ORACLE_SID= orclORACLE_BASE=/oracle/app/oracle ORACLE_HOME=/oracle/app/oracle/product/11.2.0/dbhome_1(以下操作都用root执行)1. 修改Oracle系统配置文件:/etc/oratab,只有这样,Oracle 自带的dbstart和dbshut才能够发挥作用。# vi /etc/oratab , 将 ORACLE_SID:ORACLE_HOME:Y 相应...
用oradebug short_stack及strace -p分析oracle进程是否dead或出现故障
1,可以采用oradebug或者strace -p跟踪后台或前台进程是否dead或hang住2,如果进程出现故障,必会在对应的TRC文件写入最新信息,基于此可以获取非常重要的信息进一步分析与诊断 日志文件在background_dump_dest3,采用 ll -lhrt *lgwr*|tail -10f 获取最新的进程的TRC文件4,而且出现故障时,多半会在A...
oralce之 10046对Hash Join分析
前两天解决了一个优化SQL的case,SQL语句如下,big_table为150G大小,small_table很小,9000多条记录,不到1M大小,hash_area_size, sort_area_size均设置足够大,可以进行optimal hash join和memory sort。123...
oracle之 等待事件LOG FILE SYNC (awr)优化
log file sycn是ORACLE里最普遍的等待事件之一,一般log file sycn的等待时间都非常短 1-5ms,不会有什么问题,但是一旦出问题,往往都比较难解决。什么时候会产生log file sync等待?常见有以下几种:1)commit操作2)rollback操作3)DDL操作(DDL操作实施前都会首先进行一次commit)4)DDL操作导致的数据字典修改所产...
Oracle之 等待事件log file sync + log file parallel write (awr优化)
这是3月份某客户的情况,原因是server硬件故障后进行更换之后,业务翻译偶尔出现提交缓慢的情况。我们先来看下awr的情况。 我们能够看到,该系统的load profile信息事实上并不高,每秒才21个transaction。先来看看top5events:从top 5event,我们能够发现,log file sync的avg wait很之高,高达...
oracle之 sqlplus prelim 参数介绍 ( 处理hang )
从Oracle10g开始,sqlplus提供了一个参数选项-prelim,用这个参数,在系统已经hang的时候。我们可以连接到SGA而不是数据库,也就是说没有session被创建。一. 通过以下步骤可以获取系统信息:sqlplus -prelim / as sysdbaoradebug setmypidoradebug unlimit;oradebug dump systemstate 10对于9i数据库,可以通...