ITPub博客

一、 判断数据类型0、type(x)type()可以接收任何东西作为参数――并返回它的数据类型。整型、字符串、列表、字典、元组、函数、类、模块，甚至类型对象都可以作为参数被 type 函数接受。>>> type(1) <type 'int'>>>> li = []>>> type(li) <type 'list'>>>> import odbchelper>>> type(odbchelp...

一. 简介　　python内置了一系列的常用函数，以便于我们使用，python英文官方文档详细说明：点击查看, 为了方便查看，将内置函数的总结记录下来。 二. 使用说明 　　以下是Python3版本所有的内置函数：1. abs()　　获取绝对值1 >>> abs(-10)2 103 >>> abs(10)4 105 >>> ...

Python不像C/C++,Java等有switch-case的语法。不过其这个功能，比如用Dictionary以及lambda匿名函数特性来替代实现。字典+函数实现switch模式下的四则运算：（switch 下运算符只用判断一次，不同于 if 、elsif 判断）法1：-- 代码[root@bigdata01 ~]# cat t1.py #!/usr/bin/python#coding:utf-8def...

症状：，远程连接 mysql 很慢，但是 本地连接 mysql 很快， ping 和 route 网络通信都是正常的。解决：mysql 的配置文件中增加如下配置参数：[mysqld]skip-name-resolve原理：作为MySQL调优的一部分，很多人都推荐开启skip_name_resolve。这个参数是禁止域名解析的（当然，也包括主机名）。很多童鞋会好奇...

更多列表的使用方法和API，请参考Python文档：http://docs.python.org/2/library/functions.htmlappend：用于在列表末尾追加新对象：# append函数lst = [1,2,3]lst.append(4)# 输出：[1, 2, 3, 4]print lst 复制代码count：用于统计某个元素在列表中出现的次数：# count函数temp_str = ['to'...

在Python中有六种内建的序列：列表、元组、字符串、Unicode字符串、buffer对象和xrange对象。在这里暂时只讨论字符串、列表和元组的遍历。一、 序列遍历序列有两种遍历：一种通过值 另外一种通过索引1.1 值遍历：s='abc'for x in s:print xz=('andy','leaf')for x in z:print xz={'tree','leaf...

问题描述：源端 10.2.0.4  目标端：11.2.0.4   在目标端划分1T存储与源端做一个NFS错误：指定dump导出为本地文件系统，正常。   指定dump导出为nfs文件系统，报错。报错信息如下：ORA-39001: invalid argument valueORA-39000: bad dump file specificationORA-31641: unable to create dum...

我在公司的数据部门工作，每天的订单类数据处理流程大致如下：删除分析数据库的历史订单数据全量更新订单数据到分析数据库。（由于订单核心数据不大，所以经受得起这么折腾）将数据简单清洗，并生成数据集市层分析处理，产出报表。当然还有其他的数据也是这么处理的（比如产品的数据、景区的...

       在Oracle中，数据一般是存放在数据文件中，不过数据库与Oracle最大的区别之一就是数据库可以在数据出错的时候进行恢复。这个也就是我们常见的Oracle中的重做日志(REDO FILE)的功能了。在重做日志分成2部分，一个是在线重做日志文件，另外一个就是归档日志文件。　　这里不详细说明在线重...

一、什么是多路径普通的电脑主机都是一个硬盘挂接到一个总线上，这里是一对一的关系。而到了有光纤组成的SAN环境，或者由iSCSI组成的IPSAN环境，由于主机和存储通过了光纤交换机或者多块网卡及IP来连接，这样的话，就构成了多对多的关系。也就是说，主机到存储可以有多条路径可以选择。主机到存储之间的IO由多条路径...

Deprecated Properties  弃用属性The following table lists the configuration property names that are deprecated in this version of Hadoop, and their replacements.下表列出了在这个版本的Hadoop中被弃用的配置属性名称及其替换。说明： 基于 Hadoop 2.7.4Deprecated...

MapReduce相关配置参数分为两部分，分别是JobHistory Server和应用程序参数，Job History可运行在一个独立节点上，而应用程序参数则可存放在mapred-site.xml中作为默认参数，也可以在提交应用程序时单独指定，注意，如果用户指定了参数，将覆盖掉默认参数。以下这些参数全部在mapred-site.xml中设置。1. &nb...

 参数均需要在yarn-site.xml中配置：1. ResourceManager相关配置参数（1） yarn.resourcemanager.address参数解释：ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等。默认值：${yarn.resourcemanager.hostname}:8032（2） yarn.resou...

一、JVM结构根据《java虚拟机规范》规定，JVM的基本结构一般如下图所示：从左图可知，JVM主要包括四个部分：1.类加载器（ClassLoader）:在JVM启动时或者在类运行时将需要的class加载到JVM中。（右图表示了从java源文件到JVM的整个过程，可配合理解。 关于类的加载机制，可以参考http://blog.csdn.net/ton...

HDFS2.0之HA主备NameNode：　　1、主NameNode对外提供服务，备NameNode同步主NameNode元数据，以待切换；　　2、主NameNode的信息发生变化后，会将信息写到共享数据存储系统中让备NameNode合并到自己的内存中；　　3、所有DataNode同时向两个NameNode发送心跳信息（块信息）；两种切换方式：　　1、手动...

 Hadoop1.x构成： HDFS、MapReduce(资源管理和任务调度)；运行时环境为JobTracker和TaskTracker；Hadoop2.0构成：HDFS、MapReduce/其他计算框架、YARN； 运行时环境为YARN　　1、HDFS：HA、NameNode Federation　　2、MapReduce/其他计算框架：运行在YARN之上的MapReduce通常称之为MapReduce2.0...

环境：[root@hadp-master hadoop-2.7.4]# hadoop versionHadoop 2.7.4Hadoop的日志大致可以分为两类：（1）、Hadoop系统服务输出的日志；（2）、Mapreduce程序输出来的日志。这两类的日志存放的路径是不一样的。本文基于Hadoop 2.x版本进行说明的，其中有些地方在Hadoop 1.x中是没有的，请周知。一、Hadoop...

一、zkServer.sh1、查看 zkServer.sh 帮助信息[root@bigdata05 bin]# ./zkServer.sh helpZooKeeper JMX enabled by defaultUsing config: /bigdata/zookeeper-3.4.10/bin/../conf/zoo.cfgUsage: ./zkServer.sh {start|start-foreground|stop|restart|status|upgrade|print-cmd}2、 启动/关闭 zk服务器[root@...

下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'添加记录 put '表名称', '行名称', '列名称:', '值'查看记录get '表名称', '行名称'查看表中的记录总数count '表名称'删除记录delete '表名'...

问题： hadoop启动的时候报错HTTP ERROR 500 Problem accessing /nn_browsedfscontent.jsp. Reason: Cannot issue delegation token. Name node is in safe mode. The reported blocks 0 needs additional 10 blocks to reach the threshold 0.9990 of total blocks 10. Safe mode will be ...