-
编辑 删除
sqoop export 数据覆盖更新
一、Sqoop export简介 Sqoop export工具被用来将文件集合从HDFS中导入到关系型数据库中。目标表必须事先已经在数据库中创建好。输入文件根据用户指定的分隔符被读取解析成记录集。Sqoop默认的是将这些操作转换成“INSERT模式”，向目标数据库中注入数据记录。在“更新模式”中，Sqoop将会产生更新语句替换数据库中已...
-
编辑 删除
Hive中添加自定义函数(UDF)方法及实践
环境介绍：CentOS7+hive-1.1.0-cdh5.7.0+Maven3.3.91、下载源码 hive-1.1.0-cdh5.7.0-src.tar.gz http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0-src.tar.gz 2、解压源码 tar -zxvf hive-1.1.0-cdh5.7.0-src.tar.gz -C /home/hadoop/ &n...
-
编辑 删除
Hive中配置与编写自定义UDF函数
环境介绍：CentOS7+hive-1.1.0-cdh5.7.0+IntelliJ IDEA+Maven3.3.91、创建工程 打开IntelliJ IDEA File-->New-->Project...-->Maven选择Create from archetye-->org.apache.maven.archety:maven-archetype-quitkstart2、配置 2.1、增加内容如下： 在工程中找到pom...
-
编辑 删除
Hive的三种Join方式
转载：https://www.cnblogs.com/raymoc/p/5323824.htmlCommon/Shuffle/Reduce JoinMap Join1） 大小表连接：如果一张表的数据很大，另外一张表很少(<1000行)，那么我们可以将数据量少的那张表放到内存里面，在map端做join。Hive支持Map Join，用法如下select /*+ MAPJOIN(time_dim...
-
编辑 删除
Hive参数配置调优
Hive参数配置调优 hive通过将查询划分成一个或多个MapReduce任务达到并行处理的目的。每个任务都可能具有多个mapper和reducer任务，其中至少有一些是可以并行执行的。确定最佳的mapper个数和reducer个数取决于多个变量，例如输入的数据量大小以及对这些数据执行的操作类型等。 保持平衡性是很有必要...
-
编辑 删除
Hive中原理及使用MAP JOIN
Hive中简介及使用MAP JOIN一、MAP JOIN图二、概述所有表中只有一张小表，那可在最大的表通过Mapper的时候将小表完全放到内存中，Hive可以在map端执行连接过程可以和内存的小表逐一匹配，从而省略掉常规连接所需的reduce过程。即使对于很小的数据集，这个优化也明显地要快于常规的连接操作。其不仅减少了reduce过程...
-
编辑 删除
Hive学习之更改表的属性
1、修改表名 alter table table_name rename to new_table_name; 例1：alter table ruoze_emp rename to emp;2、修改列名 alter table tablename change column column_orign column_new int(修改后列的属性) comment 'column_name' after severity;//可以把该列...
-
编辑 删除
MySQL字符集概念及设置方法
一、字符集基本概念1.字符(Character)是指人类语言中最小的表义符号。例如’A'、’B'等；2.给定一系列字符，对每个字符赋予一个数值，用数值来代表对应的字符，这一数值就是字符的编码(Encoding)。例如，我们给字符’A'赋予数值0，给字符’B'赋予数值1，则0就是字符’A'的编码；3.给定一系列字符并赋予对应的编码后，所...
-
编辑 删除
Linux下如何查看版本信息
Linux下如何查看版本信息， 包括位数、版本信息以及CPU内核信息、CPU具体型号等等，整个CPU信息一目了然：1、Linux查看版本当前操作系统内核信息 [root@spark220 ~]# uname -a 提示：Linux spark220 3.10.0-514.el7.x86_64 #1 SMP Tue Nov 22 16:42:41 UTC 2016 x86_64 x8...
-
编辑 删除
Linux下启动伪分布式HADOOP && MySQL命令及脚本
一、启动Hadoop、MySQL命令及脚本：[hadoop@spark220 app]$ vi start-service.sh source ~/.bash_profilesudo su - mysqladmin -c "service mysql start"start-all.sh[hadoop@spark220 app]$ chmod 775 start-service.sh 二、停止Hadoop、MySQL命令及脚本：[hadoop@spark220 app]$ vi st...
-
编辑 删除
Linux&&Hadoop2.x下编译hive1.1.0-cdh5.7.0与配置安装实战
一、首先下载hive-1.1.0-cdh5.7.0的源码压缩包 下载地址：wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0-src.tar.gz二、编译hive-1.1.0-cdh5.7.0的源码包需要maven，我选择的版本是maven3.3.9版本下载地址：http://maven.apache.org/download.cgi由于默认的maven地址下载东西较慢，可以在ma...
-
编辑 删除
HIVE实现wordcount过程
1、建表并关联数据：进入hive命令行：hive执行：create external table wordcounts(line string) row format delimited fields terminated by '\n' stored as textfile location '/input/wordcount';2、创建ruozedata.txt文件，并上传hdfs中的/input/wordcount目录下。vi ruozedata.txthello,ruozehello,jepsondb...
-
编辑 删除
MapReduce工作原理图文详解
1.MapReduce作业运行流程下面贴出我用visio2010画出的流程示意图： 流程分析：1.在客户端启动一个作业。2.向JobTracker请求一个Job ID。3.将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息。...
-
编辑 删除
centos7下Firewall使用详解
转载至：https://www.cnblogs.com/zqifa/p/linux-firewall-1.html如果需要图形界面的话，则再安装# yum install firewalld# yum install firewall-config一、介绍防火墙守护 firewalld 服务引入了一个信任级别的概念来管理与之相关联的连接与接口。它支持 ipv4 与 ipv6，并支持网桥，采用 firewall-cmd (comm...
-
编辑 删除
YARN and MapReduce的【内存】优化配置详解
在Hadoop2.0中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container. 这样可以精简MapReduce, 使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示?????????????YARN会管理集群中所有机器的可用计算资源. 基于这些资...
-
编辑 删除
JVM快速调优手册v1.0之一:内存结构(堆内存和非堆内存)
图为Java虚拟机运行时的数据区:1.方法区也称"永久代” 、“非堆”， 它用于存储虚拟机加载的类信息、常量、静态变量、是各个线程共享的内存区域。默认最小值为16MB，最大值为64MB（未验证），可以通过-XX:PermSize 和 -XX:MaxPermSize 参数限制方法区的大小。运行时常量池：是方法区的一部分，Clas...
-
编辑 删除
HDFS2.X源码分析之：NameNode块报告处理
NameNode会接收两种情况的块报告，DataNode全部块报告与增量块报告。 目前全量报告以周期性进行报告，既然已经有启动时候的全量数据块报告，错误块报告，增量块报告（包括删除块报告），为什么还需要周期性全量块报告呢?比如某DataNode接受到数据块但是增量报告失败，那就需要周期性报告来...
-
编辑 删除
YARN的Memory和CPU调优配置详解
YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。内存配置YARN以及MAPREDUCE所有可用的内存资源应该要除去系统运行需要的以及其他的hadoop的一些程序，总共保留的内存...
-
编辑 删除
hadoop namenode启动过程详细剖析及瓶颈分析
原文地址：hadoop namenode启动过程详细剖析及瓶颈分析 作者：jockeyzouNamenode会将fsimage的二进制文件中，每次保存hdfs操作，将会记录在editlog达到一定的大小（fs.checkpoint.size参数定义）或从上次保存过后一定时间段过后（fs.checkpoint.period参数定义），HDFS的目录树和文件元数据刷到Name...
-
编辑 删除
CentOS安装使用二进制方式mysql5.6笔记
CentOS安装使用二进制方式mysql5.6笔记1、上传安装包--使用root用户2、解压安装包--使用root用户 cd /usr/local/ tar xzvf mysql-5.6.23-linux-glibc2.5-x86_64.tar.gz mv mysql-5.6.23-linux-glibc2.5-x86_64 mysql3、创建mysql管理用户组与用户--使用root用户 groupadd -g 101 dba &nb...
