ITPub博客

IMP-00013: only a DBA can import a file exported by another DBA处理方法:在给目标环境的用户赋予dba权限，或者细粒度一些，赋予imp_full_database的权限 (常规)-- 查看用户权限SQL> select * from dba_sys_privs where grantee = 'XXX';SQL> select * from dba_role_privs where grantee ='XXX';说明：发...

Linux 异步 I/O （AIO)是 Linux 内核中提供的一个增强的功能。它是Linux 2.6 版本内核的一个标准特性，AIO 背后的基本思想是允许进程发起很多 I/O 操作，而不用阻塞或等待任何操作完成。稍后或在接收到 I/O 操作完成的通知时，进程就可以检索 I/O 操作的结果。同步IO：线程启动一个IO操作然后就立即进入等待状态，直...

1、iostat[oracle@orastb log]$ iostatLinux 3.10.0-327.el7.x86_64 (orastb.bonc.com.cn) 09/07/2017 _x86_64_ (32 CPU)avg-cpu: %user %nice %system %iowait %steal %idle0.70 0.00 0.19 0.01 0.00 99.09Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtnsda 19.01 133.47 381.19 833489930 2380474826sd...

每个文件按块方式存储, 每个块的元数据存储在namenode的内存中Hadoop存档文件或HAR文件是一个更高效的文件存档工具,它将文件存入HDFS块,在减少内存使用的同时,允许对文件进行透明地访问Hadoop存档文件可以用作MapReduce的输入使用Hadoop存档工具Hadoop存档是通过archive工具根据一组文件创...

概述distcp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 由于使用了Map/Reduce方法，这个工具在语义和执行上都会有特殊的地方。 这篇文档会为常用di...

文件是如何写入HDFS的 ？下面我们来先看看下面的“写”流程图：         假如我们有一个文件test.txt，想要把它放到Hadoop上，执行如下命令：引用        # hadoop fs  -put  /usr/bigdata/dataset/input/20...

我们在进程中要怎样去描述一个文件呢？我们用目录项(dentry)和索引节点(inode)。它们的定义如下:所谓"文件", 就是按一定的形式存储在介质上的信息，所以一个文件其实包含了两方面的信息，一是存储的数据本身，二是有关该文件的组织和管理的信息。在内存中, 每个文件都有一个dentry(目录项)和inode(索引节点)结构。...

　在Hadoop2.0.0之前，NameNode(NN)在HDFS集群中存在单点故障（single point of failure），每一个集群中存在一个NameNode，如果NN所在的机器出现了故障，那么将导致整个集群无法利用，直到NN重启或者在另一台主机上启动NN守护线程。　　主要在两方面影响了HDFS的可用性：　　（1）、在不可预测的情况下，如果NN所在的...

一、VRRP简介虚拟路由冗余协议VRRP（Virtual Router Redundancy Protocol）通过把几台路由设备联合组成一台虚拟的路由设备，将虚拟路由设备的IP地址作为用户的默认网关实现与外部网络通信。当网关设备发生故障时，VRRP机制能够选举新的网关设备承担数据流量，从而保障网络的可靠通信。随着网络的快速普及和相关应...

1、Hadoop生态系统概况Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。下图为hadoop的生态系统：  2、HDFS（Hadoop分布式文件系统）源自于Google的GFS论文，发表于2003年10月，HDFS是G...

业务处理中，很多时候使用实表临时表处理中间结果，而实表的Insert操作缺省会记录redo log，针对此问题收集相关测试总结信息如下： 【转】 常见dml、ddl语句使用nologging选项所生成的redo和undo大小比较 DDL/DML OperationsDirect-path...

 用途：Cloning an Oracle Home ， 可以免去多台机器重复安装oracle软件1、停止相关进程[root@node1 bin]# ./crsctl stop cluster -all 2、打包 dbhome_1 目录[root@node1 11.2.0]# cd /u01/app/oracle/product/11.2.0/[root@node1 11.2.0]# tar -zcvpf db_1.bak db_1/[root@node1 11.2.0]# lsdb_1 d...

AWR中有 DB time这个术语，那么什么是DB time呢？ Oracle10gR2 官方文档 给出了详细解释(Oracle10gPerformance Tuning Guide 5.1.1.2 Time Model Statistics) The most important of the time model statistics is DB time. This statistics ...

HugePages是通过使用大页内存来取代传统的4kb内存页面，使得管理虚拟地址数变少，加快了从虚拟地址到物理地址的映射以及通过摒弃内存页面的换入换出以提高内存的整体性能。尤其是对于8GB以上的内存以及较大的Oracle SGA size，建议配值并使用HugePage特性。本文基于x86_64 Linux下来描述如何配值 HugePages。一、 为ora...

1、-- 查看服务器 ORA 环境变量情况[oracle@orastb ~]$ env|grep ORAORACLE_BASE=/u01/app/oracleORACLE_HOME=/u01/app/oracle/product/11.2.0/dbhome_12、-- 创建参数文件[oracle@orastb ~]$ cd /u01/app/oracle/product/11.2.0/dbhome_1/dbs[oracle@orastb dbs]$ lsafiedt.buf hc_testdb.dat lkTESTDB2 spfil...

在Linux操作系统中，每个文件都有很多的时间参数，其中有三个比较主要，分别是ctime,atime,mtimeatime 最后一次访问时间, 如 ls, more 等, 但 chmod, chown, ls, stat 等不会修改些时间, 使用 ls -utl 可以按此时间顺序查看;ctime 最后一次状态修改时间, 如 chmod, chown 等状态时间改变但修改时间不会改变, 使用 st...

静态注册：通过解析listene.ora文件动态注册：由PMON进程动态注册至监听中在没有listener.ora配置文件的情况下，如果启动监听，则监听为动态注册。用图形化netca创建的监听，默认也为动态注册1.静态注册listener.ora文件，监听的配置文件，静态注册读取该文件，动态注册，不必要可以通过netca工具创...

I/O相关竞争等待简介当Oracle数据库出现I/O相关的竞争等待的时候，一般来说都会引起Oracle数据库的性能低下，发现数据库存在I/O相关的竞争等待一般可以通过以下的三种方法来查看Oracle数据库是否存在I/O相关的竞争等待：（1）Statpack报告中在"Top 5 Wait Events"部分中主要都是I/O相关的等待事件。（2...

HBase 系统架构图组成部件说明 　　Client： 　　使用HBase RPC机制与HMaster和HRegionServer进行通信 　　Client与HMaster进行通信进行管理类操作 　　Client与HRegionServer进行数据读写类操作 　　Zookeeper： 　　Zookeeper Quorum存储-ROOT-表地址、HMaster地址 ...

hadoop是什么？Hadoop是一个开源的框架，可编写和运行分不是应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理），Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与...