ITPub博客

sys_context 获取环境上下文的函数

spark可以通过读取hive的元数据来兼容hive，读取hive的表数据，然后在spark引擎中进行sql统计分析，从而，通过spark sql与hive结合实现数据分析将成为一种最佳实践。配置步骤如下： 1、启动hive的元数据服务hive可以通过服务的形式对外提供元数据读写操作，通过简单的配置即可  编辑 $HIVE_HOME/conf/hive-site.xml,增加如

1.scala中的类不声明为public，一个Scala源文件中可以有多个类。Scala 的类定义可以有参数，称为类参数，如上面的 xc, yc，类参数在整个类中都可以访问。2.继承Scala继承一个基类跟Java很相似, 但我们需要注意以下几点：1、重写一个非抽象方法必须使用override修饰符。2、只有主构造函数才可以往基类的构造函数里写参数。3、在子类中重写超类的抽象方法时，你不需要使用o

List// 字符串列表 val site: List[String] = List("Runoob", "Google", "Baidu") // 整型列表val nums: List[Int] = List(1,

1.Scala 中使用 val 语句可以定义函数，def 语句定义方法。class Test{   def m(x: Int) = x + 3   val f = (x: Int) => x + 3}

1.for( var x <- Range ){    statement(s);}  Range 可以是一个数字区间表示 i to j ，或者 i until j。左箭头 <- 用于为变量&n

1.Scala 程序是对象的集合，通过调用彼此的方法来实现消息传递。对象 - 对象有属性和行为。类 - 类是对象的抽象，而对象是类的具体实例。方法 - 方法描述的基本的行为，一个类可以包含多个方法。字段 - 每个对象都有它唯一的实例变量集合，即字段。对象的属性通过给字段赋值来创建。Scala 基本语法需要注意以下几点：区分大小写 -  Scala是大小写敏感的，这意味着标识Hello 和

一，Hive中join的原理和机制Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join）。Hive Common Join如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会默认把执行Common Join，即在Reduce阶段完成join。整个过程包含Map、Shuffle、Reduce阶段。Map阶段

内部表数据由Hive自身管理，外部表数据由HDFS管理； 内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定； 删除内部表会直接删除元数据（metadata）及存储数据；删除外部表仅仅会删除元数据，HDFS上的文件并不会被删除； 对内部表的修改会将修改直接同步给元数据，而对外部表的表结构和

简介部署创建lzo表导入数据索引LZO文件利用hive执行mr任务修改使用中hive表的输入输出格式安装lzop native library安装hadoop-lzo配置hadoop环境变量验证lzo（通过hive测试） 简介启用lzo启用lzo的压缩方式对于小规模集群是很有用处，压缩比率大概能降到原始日志大小的1/3。同时解压缩的速度也比较快。安装lzolzo并不是linux系统原生支

一、软件包：snappy-1.1.3.tar.gz下载地址：wget https://github.com/google/snappy/releases/download/1.1.3/snappy-1.1.3.tar.gz二、安装依赖包：yum -y install snappy libsnappy-dev yum -y install bzip2 libbz2-dev yum -y instal

理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。一、调度器的选择在Yarn中有三种调度器可以

1、Hive架构与基本组成Hive的体系结构可以分为以下几部分：    （1）用户接口主要有三个：CLI，Client 和 WUI。其中最常用的是CLI。Client是Hive的客户端，用户连接至Hive Server。在启动 Client模式的时候，需要指出Hive Server所在节点，并且在该节点启动Hive Server。 WUI是通过浏览器访问Hive。&

swappiness的值的大小对如何使用swap分区是有着很大的联系的。swappiness=0的时候表示最大限度使用物理内存，然后才是 swap空间，swappiness＝100的时候表示积极的使用swap分区，并且把内存上的数据及时的搬运到swap空间里面。linux的基本默认设置为60，具体如下：    [root@timeserver ~]# cat

1.YARN架构设计 ResourceManager(RM)： 负责对各NM上的资源进行统一管理和调度。将AM分配空闲的Container运行并监控其运行状态。对AM申请的资源请求分配相应的空闲Container。主要由两个组件构成： 调度器和应用程序管理器。调度器(Scheduler)：调度器根据容量、队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给各个

1.MapReduce1 架构设计Client: 客户端JobTracker: 主要负责资源监控管理和作业调度。a.监控所有TaskTracker 与job的健康状况,一旦发现失败,就将相应的任务转移到其他节点;b.同时JobTracker会跟踪任务的执行进度、资源使用量等信息,并将这些信息告诉任务调度器,而调度器会在资源出现空闲时,选择合适的任务使用这些资源.TaskTracker:是JobTr

1.hadoop fs == hdfs dfshadoop fs -ls /hadoop fs -lsrhadoop fs -mkdir /user/hadoophadoop fs -put a.txt /user/hadoop/hadoop fs -get /user/hadoop/a.txt /hadoop fs -cp src dsthadoop fs -mv src dsthadoop f

文件读流程1.Client通过FileSystem.open(filePath)方法,去与Namenode进行rpc通信,返回该文件的部分或全部的block列表(也包含该列表各block的分布在Datanode地址的列表),也就是返回FSDataInputStream对象;2.Client调用FSDataInputStream对象的read()方法,• a. 去与第一个块的最近的datanode进

三个进程1)NameNode (NN): 名称节点  --》client第一个操作的对象NameNode的功能: 文件系统的命名空间                        

Oracle 11g AWR 系列五：如何生成 AWR 报告 标签： awrrpt生成 awr 报告生成 awr 对比报告awrddrpi.sqlawrddrpt.sql 2013-03-11 22:02 8579人阅读 评论(1) 收藏 举报 分类： Oracle Performance Tunning（16） Oracle 11g OCP Certification（35） Oracle 11g OCM Certifi...