ITPub博客

简介awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。awk...

1. Sed简介sed 是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有 改变，除非你使用重定向存储输出。Sed主要用...

WAL(Write-Ahead Logging)是数据库系统中保障原子性和持久性的技术，通过使用WAL可以将数据的随机写入变为顺序写入，可以提高数据写入的性能。在hbase中写入数据时，会将数据写入内存同时写wal日志,为防止日志丢失，日志是写在hdfs上的。 默认是每个RegionServer有1个WAL，在HBase1.0开始支持多个WALHBASE-5699,...

Oracle 单一主机多个实例多个监听器配置要点   1. 一台服务器主机, 有多个实例, 如: TSDB/ORCL; 又需要配置多个监听器 2. 需要指定不同的LISTENER端口   3.pmon只会动态注册port等于1521的监听器, 其它端口则pmon不能动态注册listener, 要想让pmon动态注册listener, 需要设置local_listener参...

操作系统：windows 7数据库版本: 11.2.0.1问题描述：直接通过 sqlplus sys/oracle@10.10.100.109:1521/ysxt as sysdba 可以登录，但是通过 sqlplus sys/oracle@YSXT as sysdba 不能登录，报 ORA-12557: TNS: 协议适配器不可加载 。 检查环境变量 TNS_ADMIN 、 ORACLE_HOME 都没有问题。最后 检查 环境变量PATH ，...

反向键索引是一种B-tree索引，它在保持列顺序的同时，物理地改变每个索引键的字节（反向键索引除了ROWID和still之外，反转每个索引列的字节）。例如，如果索引键为20，如果在十六进制中存储为这个键的两个字节是C1，则是标准b树索引中的15个字节，那么一个反向键索引将字节存储为15,C1。优点：反转键解决了b树索引右...

前言：可以创建AWR基线来为数据库建立已保存的工作负载视图，以便以后用来与其他AWR快照进行比较。1、 手工创建 AWR 固定基线（固定基线如果没有设置过期时间，会永久保存）-- 根据时间创建DBMS_WORKLOAD_REPOSITORY.CREATE_BASELINE(start_time IN DATE,end_time IN DATE,baseline_name IN VARCHAR2,dbid I...

这篇文章解释了如何在联机或归档重做日志文件中获取转储。约束和限制:1。数据库必须安装(或打开)。更改系统转储日志文件与任何实例无关，因此不需要为其操作安装数据库。但是，在ALTER SYSTEM DUMP REDO的情况下，系统需要知道实例是什么，以及其他日志文件在哪里。此查找需要控制文件，因此必须安装或打开数据...

问题:Database parameter CLUSTER_INTERCONNECTS is not set to the recommended value在Oracle实际应用程序集群环境中可以使用cluster_interconnect，以指示可用于数据库通信的集群互连。如果需要覆盖为数据库流量配置的默认互连(存储在群集注册表中)，请使用此参数。这个过程也可能对数据仓库系统有用，因为数据仓...

本文：说明提供了操作系统日期变更对数据库、应用程序数据和作业的影响。1。它将会影响插入的任何记录，如果涉及到sysdate，则更改日期。2。它还会影响在那个日期运行的任何调度器作业。如果将系统时间向前调整，那么无论调整多长的时间都不会造成系统的重启。但是如果将系统时间向后调整，就会造成整个节点的...

一、诊断过度redo要找到生成大量重做的会话，您可以使用以下任何一种方法。这两种方法都检查生成的撤销量。当一个事务生成撤销，它将自动生成重做。当需要检查生成大量的程序时，使用第一个查询。当这些程序激活多个事务时重做。后者查询，可以用来发现哪些特定事务正在生成重做。1）法一 （针对某程序累...

说明： 有时候我们需要通用的实验数据，emp表 与 dept表  但是数据库中有没有。 这时，我们可以手动创建。-- 创建表与数据CREATE TABLE EMP(EMPNO NUMBER(4) NOT NULL,ENAME VARCHAR2(10),JOB VARCHAR2(9),MGR NUMBER(4),HIREDATE DATE,SAL NUMBER(7, 2),COMM NUMBER(7, 2),DEPTNO NUMBER(2));INS...

一、 bbed安装：1、ORACLE 11G下安装BBED，需要从ORACLE 10G中复制三个包 sbbdpt.o 、ssbbded.o 并将两个文件移到$ORACLE_HOME/rdbms/lib/ 目录下 , bbedus.msb 移到 $ORACLE_HOME/mesg/ 下面[oracle]$ pwd/u01/app/oracle/product/11.2.0/db_1/rdbms/libnode1-> ll bbedus.msb-rw-r--r--. 1 oracle oin...

Memory Management using Resource ManagerOracle数据库资源管理器(资源管理器)现在可以在多租户容器数据库(CDB)中管理可插入数据库(PDBs)之间的内存使用。这一特性有助于在CDB中维护所有PDBs的性能，确保所有的PDBs都不会占用更多资源，从而导致其他PDBs上的资源紧缩。前提只有满足以下条件，才能控制PDBs的内...

说明：前提安装好hadoop集群，可参考 http://blog.csdn.net/zhang123456456/article/details/77621487一、 scala 安装1、下载 scala 安装包 ：https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.7.tgz2、上传 scala 安装包 [root@hadp-master local]# pwd/usr/local[root@hadp-master...

一、 hdfs-site.xml 配置文件1、 dfs.blocksize 参数：hadoop文件块大小描述：新文件的默认块大小，以字节为单位，默认 134217728 字节。可以使用以下后缀(大小写不敏感):k(kilo)、m(mega)、g(giga)、t(tera)、p(peta)、e(exa)来指定大小(如128k、512m、1g等)，或者以字节为单位提供完整的大小。2、 dfs...

1. sqoop数据迁移1.1 概述sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库1.2 工作机制将导入或导出命令翻译成mapreduce程序来实...

概述集群资源是非常有限的，在多用户、多任务环境下，需要有一个协调者，来保证在有限资源或业务约束下有序调度任务，YARN资源调度器就是这个协调者。YARN调度器有多种实现，自带的调度器为Capacity Scheduler和Fair Scheduler。YARN资源调度器均实现Resource Scheduler接口，是一个插拔式组件，用户可...

1. 从输入到输出一个MapReducer作业经过了input，map，combine，reduce，output五个阶段，其中combine阶段并不一定发生，map输出的中间结果被分到reduce的过程成为shuffle（数据清洗）。在shuffle阶段还会发生copy（复制）和sort（排序）。在MapReduce的过程中，一个作业被分成Map和Reducer两个计算阶段...

文件名称            格式                     描述hadoop-env.sh      bash脚本            记录hadoop要用的环境变量core-site.xml         hadoop 配置 xml ...