Hive安装
Hive安装1. 下载Hive下载地址:http://www.fayea.com/apache-mirror/hive/,我下载的是HiveHive-0.9.0(http://www.fayea.com/apache-mirror/hive/hive-0.9.0/hive-0.9.0.tar.gz)。2. 把Hive移动到/home/hadoop目录下并解压hadoop@ubuntu:~/下载$ mv hive-0.9.0.tar.gz /home/hadoop/ hadoop@ubuntu:...
Hive安装及使用攻略
转载请注明出处: http://blog.fens.me/hadoop-hive-intro前言Hive是Hadoop一个程序接口,Hive让数据分析人员快速上手,Hive使用了类SQL的语法,Hive让JAVA的世界变得简单而轻巧,Hive让Hadoop普及到了程序员以外的人。从Hive开始,让分析师们也能玩转大数据。目录Hive的安装H...
JOB时间间隔设定
1:每分钟执行Interval => TRUNC(sysdate,'mi') + 1/ (24*60)Interval => TRUNC(sysdate,'mi') + 1/ (24*60) --每十分钟执行一次 2:每天定时执行例如:每天的凌晨1点执行Interval => TRUNC(sysdate) ...
记录数据库执行效率低下的SQL
1.建立存放sql记录表record_sql_stats create table record_sql_stats as select sql_text, sql_fulltext, ...
oracle dblink 学习
CREATE DATABASE LINK 下面对CREATE DATABASE LINK的(Purpose,Prerequisites,syntax,keyword and parameters)进行了描述 Purpose Use the CREATE DATABASE LINK statement to create a database link. A database link is a schema object in one database that enables you to access objects on another database. The other database need not be an Oracle Database system. However, to access non-Oracle systems you must use Oracle Heterogeneous Services. After you have created a database link, you can use it i
dbms_logmnr.的使用
学习使用logmnr对日志文件进行信息挖掘 环境准备: 操作系统: solaris 10 vm 数据库版本: SQL> select * from v$version; BANNER ---------------------------------------------------------------- Oracle Database 10g Enterprise Edition Release 10.2.0.2.0 - Prod PL/SQL Release 10.2.0.2.0 - Production CORE 10.2.0.2.0 Production TNS for Solaris: Version 10.2.0.2.0 - Production NLSRTL Version 10.2.0.2.0 - Production 日志文件: SQL> select * from v$logfile; GROUP# ST
oracle 11g release 2 crsd启动顺序发生了改变
操作系统:solaris 10 数据库:oracle 11g release 2 rac 存储:asm 在关闭asm实例时,在alert日志中发现如下记录: SQL> ALTER DISKGROUP ORA_DATA_DG DISMOUNT /* asm agent *//* {1:63323:40455} */ Mon Sep 26 00:45:36 2011 GMON querying group 1 at 14 for pid 18, osid 3829 Mon Sep 26 00:45:36 2011 NOTE: Instance updated compatible.asm to 11.2.0.0.0 for grp 1 Mon Sep 26 00:45:36 2011 ORA-15032: not all alterations performed ORA-15027: active use of diskgroup "CRS" preclud
一次asm磁盘头部信息丢失故障
一、首先介绍下kfed这个工具配置 kfed这个工具默认是没有编译的,需要手工编译 cd $ORACLE_HOME/rdbms/lib make -f ins_rdbms.mk ikfed 使用kfed dump出裸设备头信息,还是比较容易看懂对应的内容的 $kfed read /dev/drsk/c4t6001438007F3072900008000004A0000d0s6 > disk_header6.txt $cat disk_header6.txt kfbh.endian: 0 ; 0x000: 0x00 kfbh.hard: 130 ; 0x001: 0x82 kfbh.type: 1 ; 0x002: KFBTYP_DISKHEAD kfbh.da
数据泵table_exists_action使用
当使用IMPDP完成数据库导入时,如遇到表已存在时,Oracle提供给我们如下四种处理方式: a.忽略(SKIP,默认行为); b.在原有数据基础上继续增加(APPEND); c.先DROP表,然后创建表,最后完成数据插入(REPLACE); d.先TRUNCATE,再完成数据插入(TRUNCATE)。 真实感受一下这几种方式的效果,供参考。 1.IMPDP在线帮助中关于TABLE_EXISTS_ACTION参数的描述 TABLE_EXISTS_ACTION Action to take if imported object already exists. Valid keywords: (SKIP), APPEND, REPLACE and TRUNCATE. 2.
记录
开始研究oracle 11g release 2 数据库新特性[@more@]
EXP-00006: 出现内部不一致的错误
C:Userscpc-1>exp help=yExport: Release 11.1.0.6.0 - Production on 星期五 9月 23 10:34:01 2011Copyright (c) 1982, 2007, Oracle. All rights reserved.通过输入 EXP 命令和您的用户名/口令, 导出操作将提示您输入参数: 例如: EXP SCOTT/TIGER或者, 您也可以通过输入跟有各种参数的 EXP 命令来控制导出的运行方式。要指定参数, 您可以使用关键字: 格式: EXP KEYWORD=value 或 KEYWORD=(value1,value2,...,valueN) 例如: EXP SCOTT/TIGER GRANTS=Y TABLES=(EMP,DEPT,MGR) 或 TABLES=(T1:P1,T1:P2), 如
删除表的重复行
delete cs_calling where cs_calling.rowid not in( select min(cs_calling.rowid) from cs_calling group by cs_calling.id) group by cs_calling.id 对id字段进行分组和排序 min(cs_calling.rowid) 筛选最小值 not in 把最小值排除,选择其他值 delete cs_calling 删除选中的值,也就是重复的值[@more@]
在sqlldr中执行对字段的函数转换
把对字段的函数转换放到sqlldr加载中执行msc "transne2id(:msc,'mss','')"cs_cdr_camel;1)使用的函数create or replace function transne2id(code varchar2, ne_type varchar2, code_type varchar2) return number is ne_id varchar2(100); --p_id varchar2(50); --根据网元的spc、id、gt翻译成id --code:网元的id、spc、 --ne_type:要显示的网元类型,如:bsc、rncbegin ne_id := ''; --select id into p_id from meta_province w
oracle 11.2g 等待事件asynch descriptor resize
数据库环境;oracle 11.2g rac on hp-unix 11.31我们的数据库已经构架完,业务在开发阶段。最近要进行业务测试,后台开始大量的采集数据往数据库里入。我的任务是优化业务sql,在查看数据库等待事件是发现top等待事件是asynch descriptor resize。经过监控会话发现一个sql引起这个等待事件:select s.synonym_name object_name, o.object_type from sys.all_synonyms s, sys.all_objects owhere s.owner in ('PUBLIC', user) and o.owner = s.table_owner and o.object_name = s.table_name and o.object_type in ('TABLE', 'VIEW', 'PACK
默认网关末配置导致无法连接数据库
2011-09-25 小机操作系统重启,在等待过程中始终ping不通小机的映射ip(我们现在所在网段和数据库小机不在一个网段是通过映射ip连过去的)。 开始以为小机一直没有起来,但是,等待20分钟的时候感觉不对,就用应用服务器(和小机在一个网段)通过ssh尝试跳跃到重启后的小机,登录成功小机重启成功。 但是,cmd中ping 映射ip还是ping不通,意识到可以能是映射ip出了问题(映射ip网络是在思科防火墙上配置的,配置了网关) 分析问题:可能是小机操作系统重启导致某些临时配置失效,导致通过映射ip连接小机失败。 os:hp-unix 11.31 查看
primary key violated
对table GN_CDR以create_time为分区健建立分区表,并且在CDR_ID字段添加PRIMARY KEY 但是表中有违反约束的数据存在。 1、备份表数据,重建表添加主键-- Create tablecreate or replace table GN_CDR( CDR_ID NUMBER, BEGIN_TIME NUMBER, END_TIME NUMBER, BUSINESS_TYPE NUMBER, MCC VARCHAR2(20), MNC VARCHAR2(20), LAC VARCHAR2(20), RAC VARCHAR
由于网关导致映射环境连接失败
2011-09-25小机操作系统重启,在等待过程中始终ping不同小机的映射ip(我们现在所在网络ip和数据库小机ip不在一个网段是通过映射ip连过去的)。开始以为小机一直没有起来,但是,等待20分钟的时候感觉不对,就...
在sqlldr中执行函数转换
把对字段的函数转换放到sqlldr加载中执行msc "transne2id(:msc,'mss','')" cs_cdr_camel;1)使用的函数create or replace function transne2id(code varchar2, &nb...
exp oracle 11g 新特性间隔分区表
C:\Users\cpc-1>exp help=yExport: Release 11.1.0.6.0 - Production on 星期五 9月 23 10:34:01 2011Copyright (c) 1982, 2007, Oracle. All rights reserved.通过输入 EXP 命令和您的用户名/口令, 导出操作...
dbms_stats.export/import_table_stats
C:\Users\cpc-1>sqlplus scott/tiger@dongleiSQL*Plus: Release 11.1.0.6.0 - Production on 星期三 9月 21 15:48:18 2011Copyright (c) 1982, 2007, Oracle. All rights reserved.连接到:Oracle Database 11g...