ITPub博客

一、 bbed安装：1、ORACLE 11G下安装BBED，需要从ORACLE 10G中复制三个包 sbbdpt.o 、ssbbded.o 并将两个文件移到$ORACLE_HOME/rdbms/lib/ 目录下 , bbedus.msb 移到 $ORACLE_HOME/mesg/ 下面[oracle]$ pwd/u01/app/oracle/product/11.2.0/db_1/rdbms/libnode1-> ll bbedus.msb-rw-r--r--. 1 oracle oin...

Memory Management using Resource ManagerOracle数据库资源管理器(资源管理器)现在可以在多租户容器数据库(CDB)中管理可插入数据库(PDBs)之间的内存使用。这一特性有助于在CDB中维护所有PDBs的性能，确保所有的PDBs都不会占用更多资源，从而导致其他PDBs上的资源紧缩。前提只有满足以下条件，才能控制PDBs的内...

说明：前提安装好hadoop集群，可参考 http://blog.csdn.net/zhang123456456/article/details/77621487一、 scala 安装1、下载 scala 安装包 ：https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.7.tgz2、上传 scala 安装包 [root@hadp-master local]# pwd/usr/local[root@hadp-master...

一、 hdfs-site.xml 配置文件1、 dfs.blocksize 参数：hadoop文件块大小描述：新文件的默认块大小，以字节为单位，默认 134217728 字节。可以使用以下后缀(大小写不敏感):k(kilo)、m(mega)、g(giga)、t(tera)、p(peta)、e(exa)来指定大小(如128k、512m、1g等)，或者以字节为单位提供完整的大小。2、 dfs...

1. sqoop数据迁移1.1 概述sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库1.2 工作机制将导入或导出命令翻译成mapreduce程序来实...

概述集群资源是非常有限的，在多用户、多任务环境下，需要有一个协调者，来保证在有限资源或业务约束下有序调度任务，YARN资源调度器就是这个协调者。YARN调度器有多种实现，自带的调度器为Capacity Scheduler和Fair Scheduler。YARN资源调度器均实现Resource Scheduler接口，是一个插拔式组件，用户可...

1. 从输入到输出一个MapReducer作业经过了input，map，combine，reduce，output五个阶段，其中combine阶段并不一定发生，map输出的中间结果被分到reduce的过程成为shuffle（数据清洗）。在shuffle阶段还会发生copy（复制）和sort（排序）。在MapReduce的过程中，一个作业被分成Map和Reducer两个计算阶段...

文件名称            格式                     描述hadoop-env.sh      bash脚本            记录hadoop要用的环境变量core-site.xml         hadoop 配置 xml ...

1、参数变更1.x 参数名                                                         2.x 参数名 mapred.tasktracker.reduce.tasks.maximum     mapreduc...

hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。为了方便介绍，先来看几个名词：block_size : hdfs的文件块大小，1.x默认...

dfs.datanode.max.transfer.threads： 默认 4096 < 2.0之前该参数为dfs.datanode.max.xcievers >解释：Specifies the maximum number of threads to use for transferring data in and out of the DN.表示datanode上负责进行文件操作的线程数。如果需要处理的文件过多，而这个参数设置得过低就会有一部分文件处理不...

1. dfs.datanode.max.transfer.threads修改dfs.datanode.max.transfer.threads=4096 (如果运行HBase的话建议为16384)，指定用于在DataNode间传输block数据的最大线程数，老版本的对应参数为dfs.datanode.max.xcievers。2. dfs.datanode.balance.bandwidthPerSec修改dfs.datanode.balance.bandwidthPerSec=5...

1.Hadoop datanode节点超时时间设置datanode进程死亡或者网络故障造成datanode无法与namenode通信，namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout，则超时时长的计算公式为：timeout = 2 * heartbeat.recheck.interval...

1. sqoop数据迁移1.1 概述sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库1.2 工作机制将导入或导出命令翻译成mapreduce程序来实...

1. sqoop数据迁移1.1 概述sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库1.2 工作机制将导入或导出命令翻译成mapreduce程序来实...

首先: 参考 http://blog.csdn.net/zhang123456456/article/details/77621487 搭建好hadoop集群。 然后，在master节点安装pig。 我们用MapReduce进行数据分析。当业务比较复杂的时候，使用MapReduce将会是一个很复杂的事情，比如你需要对数据进行很多预处理或转换，以便能够适应MapReduce的处理模式,另...

现象： node manager起不来， 执行mapreduce 程序hang住namenode 进程状态查询[root@hadp-master sbin]# jps8608 ResourceManager8257 NameNode9268 Jps8453 SecondaryNameNodedatanode 进程状态查询 ， 发现 nodemanager 没有起来[root@hadp-node1 hadoop]# jps4179 DataNode4940 Jpsnamenode 单独起 no...

[oracle@hbjfdba:/oratmp]#expdp \'XXX as sysdba\' DIRECTORY=TMP_DUMP_DIR DUMPFILE=NEW_LOCAL_HB_DMN_%U.dmp SCHEMAS=NEW_LOCAL_HB_DMN exclude=statistics logfile=NEW_LOCAL_HB_DMN_exp.log version=10.2.0.2 ;Export: Release 10.2.0.4.0 - 64bit Production on Tuesday, 23 January, 2018 19:38:20Copyri...

对于数据库运行期间的各种状态的实时监控以及相关性能数据捕获对于解决性能问题，提高整体业务系统运行效率是至关重要的。在Oracle数据库中，实时捕获相关性能数据是通过ASH工具来实现的。ASH通过每秒钟抽取活动会话样本，为分析在最近时刻的性能问题提供最直接最有效的依据。本文主要讲述ASH的用法及使用。一、活动...

1、 truncate 表报 ORA-00054 ，标明有事务正在操作该表SQL> truncate table alldm.DM_XQKD_YUJING_D;truncate table alldm.DM_XQKD_YUJING_D*ERROR at line 1:ORA-00054: resource busy and acquire with NOWAIT specified or timeout expired2、 找到正在操作该表的session与sqlSQL> set linesize 400SQL> s...