ITPub博客

前言：     关于Hadoop课程及认证证书的事，想着整理一下，可能觉得有用的。     首先我所知道的在做Hadoop认证的有两家，Hortonworks跟Cloudera。因为工作的原因接触Cloudera比较多，所以就只能讲讲Cloudera的认证了。主要认证    &n

一. 各种名词解释1.1 ODS是什么？ODS层最好理解，基本上就是数据从源表拉过来，进行etl，比如mysql 映射到hive，那么到了hive里面就是ods层。ODS 全称是 Operational Data Store，操作数据存储.“面向主题的”，数据运营层，也叫ODS层，是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的 ETL 之后，装入本层。

一、主从切换方式1.在采用Master-Slave下，备节点宕机不会影响到主节点，但是主节点宕机，并不会自动进行故障转移，会影响到连接mongodb的应用程序。2.需要手动把备节点的停止，并修改mongodb.conf文件后，再重启，如图： 3.由于现在备节点已经变成了主节点，所以需要修改web的poseidon.properties和rmm的xx.config里的mongodb相关配置

作用1. 可以实施响应备份事务，备份时间间隔较短2. 当主数据库挂掉时可以切到备份数据库服务器，程序不会挂掉操作1. 需要两台分别安装SQL Server 2008R2的数据库服务器。发布服务器：主库所在的服务器。（10.51.50.149）订阅服务器：备份服务器。（10.51.50.150）发布服务器和订阅服务器：设置统一登录账户和密码并开启代理 2. 前期准备：发布服务器(10.51.50.1

MySQL里边还有几种常见的log，分别为：undo logbinlogredo log一、什么是binlogbinlog其实在日常的开发中是听得很多的，因为很多时候数据的更新就依赖着binlog。举个很简单的例子：我们的数据是保存在数据库里边的嘛，现在我们对某个商品的某个字段的内容改了（数据库变更），而用户检索的出来数据是走搜索引擎的。为了让用户能搜到最新的数据，我们需要把引擎的数据也改掉。一句

一、HBase概述Apache HBase  是 Hadoop 数据库，一个分布式、可伸缩的大数据存储。HBase是依赖Hadoop的。为什么HBase能存储海量的数据？因为HBase是在HDFS的基础之上构建的，HDFS是分布式文件系统。二、为什么要用HBaseHBase在HDFS之上提供了高并发的随机写和支持实时查询，存储数据的”结构“可以地非常灵活，这是HDFS不具备的。把数据存储

数据库繁忙程度监控有多种参数可以选择，本文选择其中之一的redolog切换频率分布图获取最近时间数据库redolog切换频率分布数据SELECT TRUNC (first_time) "Date", TO_CHAR (first_time, 'Dy') "Day", COUNT (1) "Total",SUM (DECOD

ORACLE事务中的数据变化是如何写入数据文件的： 1．事务开始； 2．在BUFFER CACHE中寻找需要的数据块，如果没有，则从数据文件读入数据块； 3．生成重做项写入REDO LOG BUFFER（重做日志缓冲区）中，修改BUFFER CACHE（数据库高速缓冲区），该区域被标识为“脏缓冲区”； 4．事务提交，LGWR进程将LOG BUFFER中的重做记录写入ONLINE REDO LOG

作为一名DBA，他的职责应该要做到这些:安装和升级数据库服务器，以及应用程序工具;数据库设计系统存储方案，并制定未来的存储需求计划;一旦开发人员设计了一个应用，就需要DBA来创建数据库存储结构，创建数据库对象;根据开发人员的反馈信息，必要的时候，修改数据库的结构；登记数据库的用户，维护数据库的安全性；控制和监控用户对数据库的存取访问;监控和优化数据库的性能;保证数据库的使用符合知识产权相关法规;维

源库执行RMAN备份（开启控制文件自动备份configure controlfile autobackup on）备份执行完成后所设置的路径下（通常为$ORACLE_BASE/fast_recover_area/SID）会多出两个文件夹（autobackup、backupset)，将两个文件夹下的内容传至目标库相同路径下（需要进行创建）RMAN启动DUMMY实例恢复控制文件和参数文件rman ta

一． 物理Standby 和逻辑Standby 的区别Standby数据库类型分为两类：物理Standby和逻辑Standby。1．物理Standby我们知道物理Standby与Primary数据库完全一模一样，DG通过REDO应用来维护物理Standby数据库。通常在物理Standby没有执行REDO应用操作的时候，可以将物理Standby数据库以READ ONLY模式打开，如果数据库中指定了F

一． 自动裂缝检测和解决      当Primary Database的某些日志没有成功发送到Standby Database， 这时候发生饿了归档裂缝（Archive Gap）。缺失的这些日志就是裂缝（Gap）。 Data Guard能够自动检测，解决归档裂缝，不需要DBA的介入。这需要配置FAL_CLIENT， FAL_SERVER 这两个参数

在Data Gurad 环境中，至少有两个数据库，一个处于Open 状态对外提供服务，这个数据库叫作Primary Database。 第二个处于恢复状态，叫作Standby Database。 运行时primary Database 对外提供服务，用户在Primary Database 上进行操作，操作被记录在联机日志和归档日志中，这些日志通过网络传递给Standby Database。 这个日

      Oracle Server主要由实例（instance）和数据库（database）组成，实例（instance）由共享内存（SGA）和后台进程系统组成，数据库（database）是存储在磁盘上的一系列物理文件。      SGA主要由Share Pool（共享池，又分Library C

oracle交换分区（exchange partition）提供了一种方式，让你在表与表或分区与分区之间迁移数据，由于其采用了更改数据字典的方式，几乎不涉及io操作，因此效率极高。exchange partition适用于所有分区格式，可以将数据从分区表迁移到非分区表，也可以从非分区表迁移至分区表，但不支持range partition 和range partition之间交换。探究测

         监听配置文件listener.ora中HOST参数由主机名修改为IP地址后，数据库无法注册至监听服务，解决步骤如下         select host_name from v$instance。修改/etc/hosts

SQL*LOADER 是 ORACLE 的数据加载工具，通常用来将操作系统文件迁移到 ORACLE 数据库中。1 创建数据文件 [oracle@~]$ vi data.txt 1,2 3,4 5,67,8   2 创建控制文件 [oracle@~]$ vi sqlldr.ctl load data infile '/home/oracle/data.txt' appe

sql tuning advisor为Oracle提供的sql优化工具，分析复杂SQL性能问题时可以通过sql tuning advisor参考oracle的建议。1.创建测试数据create user ttest identified by ttest;grant connect,resource,dba to ttest;conn ttest/ttest

truncateMOVEALTER TABLE TABLE_NAME MOVE;1 会锁表2 move是以block为单位重组数据，行的rowid都会跟着变化，索引会失效，需要重建索引。3 需要准备两倍的空间。3 MOVE之后,HWM降低了，空闲块也上去了。SHRINK SPACE CASCADEALTER TABLE TABLE_NAME SHRINK SPACE;在执行该指令之前必须开启行移动

remark create tablespace ;Select 'create TABLESPACE ' || tablespace_name  || '  DATAFILE ' || ''''|| file_name || '''' ||'  SIZE &#39