ITPub博客

1、参数变更1.x 参数名                                                         2.x 参数名 mapred.tasktracker.reduce.tasks.maximum     mapreduc...

hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。为了方便介绍，先来看几个名词：block_size : hdfs的文件块大小，1.x默认...

dfs.datanode.max.transfer.threads： 默认 4096 < 2.0之前该参数为dfs.datanode.max.xcievers >解释：Specifies the maximum number of threads to use for transferring data in and out of the DN.表示datanode上负责进行文件操作的线程数。如果需要处理的文件过多，而这个参数设置得过低就会有一部分文件处理不...

1. dfs.datanode.max.transfer.threads修改dfs.datanode.max.transfer.threads=4096 (如果运行HBase的话建议为16384)，指定用于在DataNode间传输block数据的最大线程数，老版本的对应参数为dfs.datanode.max.xcievers。2. dfs.datanode.balance.bandwidthPerSec修改dfs.datanode.balance.bandwidthPerSec=5...

1.Hadoop datanode节点超时时间设置datanode进程死亡或者网络故障造成datanode无法与namenode通信，namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout，则超时时长的计算公式为：timeout = 2 * heartbeat.recheck.interval...

1. sqoop数据迁移1.1 概述sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库1.2 工作机制将导入或导出命令翻译成mapreduce程序来实...

1. sqoop数据迁移1.1 概述sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库1.2 工作机制将导入或导出命令翻译成mapreduce程序来实...

首先: 参考 http://blog.csdn.net/zhang123456456/article/details/77621487 搭建好hadoop集群。 然后，在master节点安装pig。 我们用MapReduce进行数据分析。当业务比较复杂的时候，使用MapReduce将会是一个很复杂的事情，比如你需要对数据进行很多预处理或转换，以便能够适应MapReduce的处理模式,另...

现象： node manager起不来， 执行mapreduce 程序hang住namenode 进程状态查询[root@hadp-master sbin]# jps8608 ResourceManager8257 NameNode9268 Jps8453 SecondaryNameNodedatanode 进程状态查询 ， 发现 nodemanager 没有起来[root@hadp-node1 hadoop]# jps4179 DataNode4940 Jpsnamenode 单独起 no...

[oracle@hbjfdba:/oratmp]#expdp \'XXX as sysdba\' DIRECTORY=TMP_DUMP_DIR DUMPFILE=NEW_LOCAL_HB_DMN_%U.dmp SCHEMAS=NEW_LOCAL_HB_DMN exclude=statistics logfile=NEW_LOCAL_HB_DMN_exp.log version=10.2.0.2 ;Export: Release 10.2.0.4.0 - 64bit Production on Tuesday, 23 January, 2018 19:38:20Copyri...

对于数据库运行期间的各种状态的实时监控以及相关性能数据捕获对于解决性能问题，提高整体业务系统运行效率是至关重要的。在Oracle数据库中，实时捕获相关性能数据是通过ASH工具来实现的。ASH通过每秒钟抽取活动会话样本，为分析在最近时刻的性能问题提供最直接最有效的依据。本文主要讲述ASH的用法及使用。一、活动...

1、 truncate 表报 ORA-00054 ，标明有事务正在操作该表SQL> truncate table alldm.DM_XQKD_YUJING_D;truncate table alldm.DM_XQKD_YUJING_D*ERROR at line 1:ORA-00054: resource busy and acquire with NOWAIT specified or timeout expired2、 找到正在操作该表的session与sqlSQL> set linesize 400SQL> s...

1、查询表空间使用率SQL> set linesize 400SQL> set pagesize 400SQL> SELECT D.TABLESPACE_NAME 表空间名称,SPACE "表空间(MB)",BLOCKS 总块数,SPACE - NVL(FREE_SPACE, 0) "已使用(MB)",ROUND((1 - NVL(FREE_SPACE, 0) / SPACE) * 100, 2) "使用率(%)",FREE_SPACE "未使用(MB)"FROM(SELECT TABLESPACE_NAME...

-- 客户端使用含 dblink sql报错（ 症状：当数据库使用dblink访问其他数据库时，第一次执行某条dblink sql大多数情况下可以成功，偶尔执行一段时间后报错。如果该会话空闲二十分钟以上，再次执行相同dblink sql 一定报错。） -- 检查了profile中的idle空闲时间是不受限制的，sqlnet.ora未做限制，os防火...

                                                   Linux环境VNC服务安装、配置与使用    前言：作为一名DBA，在创建Oracle数据库的过程中一般要使...

模式 描述r 以读方式打开文件，可读取文件信息。w 以写方式打开文件，可向文件写入信息。如文件存在，则清空该文件，再写入新内容a 以追加模式打开文件（即一打开文件，文件指针自动移到文件末尾），如果文件不存在则创建r+ 以读写方式打开文件，可对文件进行读和写操作。 ## r+时，如果不先f.read()，则新写入的内容...

简介Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。Python 1.5之前版本则是通过 regex 模块提供 Emacs 风格的模式。Emacs 风格模式可读性稍差些，而且功能也不强，因此编写新代码时尽量不要再使用 regex 模块。正则表达式（或 RE）是一种小型的、高度专业化的编程语言，在Python中它内嵌...

1、 查看各个网卡发送、接受包情况oracle@hbdw2:/oratmp2$netstat -niKernel Interface tableIface MTU Met RX-OK RX-ERR RX-DRP RX-OVR TX-OK TX-ERR TX-DRP TX-OVR FlgIbond0 1500 0 328233758 0 0 0 331426557 0 0 0 BMmRUebond0 1500 0 926492731 0 0 0 1822546664 0 0 0 BMmRUebond0:1 1500 0 - no statistics...

Oracle 11gR2 RAC 修改监听器端口号的步骤说明：192.168.188.181 为public ip1192.168.188.182 为public ip2192.168.188.183 为vip1192.168.188.184 为vip2一、修改 DB 监听端口注意：1.本文的os是RHEL6.5，DB版本是11.2.0.3.8。本文非exadata环境，若是Exadata环境，请读Changing Listener Ports On R...

第一种方法是使用工具，如：pl/sql developer，在【工具】--【导出用户对象】出现就可以得到建表脚本。第二种方法是，sql语句。DBMS_METADATA.GET_DDL包可以得到数据库的对象的ddl脚本。如下（SQLPLUS中执行）： 1.得 到一个表的ddl语句：SET SERVEROUTPUT ON SET LINESIZE 1000 SET FEEDBACK O...