-
编辑 删除
sqoop export 数据覆盖更新
一、Sqoop export简介 Sqoop export工具被用来将文件集合从HDFS中导入到关系型数据库中。目标表必须事先已经在数据库中创建好。输入文件根据用户指定的分隔符被读取解析成记录集。Sqoop默认的是将这些操作转换成“INSERT模式”，向目标数据库中注入数据记录。在“更新模式”中，Sqoop将会产生更新语句替换数据库中已...
-
编辑 删除
Hive中添加自定义函数(UDF)方法及实践
环境介绍：CentOS7+hive-1.1.0-cdh5.7.0+Maven3.3.91、下载源码 hive-1.1.0-cdh5.7.0-src.tar.gz http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0-src.tar.gz 2、解压源码 tar -zxvf hive-1.1.0-cdh5.7.0-src.tar.gz -C /home/hadoop/ &n...
-
编辑 删除
Hive中配置与编写自定义UDF函数
环境介绍：CentOS7+hive-1.1.0-cdh5.7.0+IntelliJ IDEA+Maven3.3.91、创建工程 打开IntelliJ IDEA File-->New-->Project...-->Maven选择Create from archetye-->org.apache.maven.archety:maven-archetype-quitkstart2、配置 2.1、增加内容如下： 在工程中找到pom...
-
编辑 删除
Hive的三种Join方式
转载：https://www.cnblogs.com/raymoc/p/5323824.htmlCommon/Shuffle/Reduce JoinMap Join1） 大小表连接：如果一张表的数据很大，另外一张表很少(<1000行)，那么我们可以将数据量少的那张表放到内存里面，在map端做join。Hive支持Map Join，用法如下select /*+ MAPJOIN(time_dim...
-
编辑 删除
Hive参数配置调优
Hive参数配置调优 hive通过将查询划分成一个或多个MapReduce任务达到并行处理的目的。每个任务都可能具有多个mapper和reducer任务，其中至少有一些是可以并行执行的。确定最佳的mapper个数和reducer个数取决于多个变量，例如输入的数据量大小以及对这些数据执行的操作类型等。 保持平衡性是很有必要...
-
编辑 删除
Hive中原理及使用MAP JOIN
Hive中简介及使用MAP JOIN一、MAP JOIN图二、概述所有表中只有一张小表，那可在最大的表通过Mapper的时候将小表完全放到内存中，Hive可以在map端执行连接过程可以和内存的小表逐一匹配，从而省略掉常规连接所需的reduce过程。即使对于很小的数据集，这个优化也明显地要快于常规的连接操作。其不仅减少了reduce过程...
-
编辑 删除
Hive学习之更改表的属性
1、修改表名 alter table table_name rename to new_table_name; 例1：alter table ruoze_emp rename to emp;2、修改列名 alter table tablename change column column_orign column_new int(修改后列的属性) comment 'column_name' after severity;//可以把该列...
-
编辑 删除
MySQL字符集概念及设置方法
一、字符集基本概念1.字符(Character)是指人类语言中最小的表义符号。例如’A'、’B'等；2.给定一系列字符，对每个字符赋予一个数值，用数值来代表对应的字符，这一数值就是字符的编码(Encoding)。例如，我们给字符’A'赋予数值0，给字符’B'赋予数值1，则0就是字符’A'的编码；3.给定一系列字符并赋予对应的编码后，所...
-
编辑 删除
Linux下如何查看版本信息
Linux下如何查看版本信息， 包括位数、版本信息以及CPU内核信息、CPU具体型号等等，整个CPU信息一目了然：1、Linux查看版本当前操作系统内核信息 [root@spark220 ~]# uname -a 提示：Linux spark220 3.10.0-514.el7.x86_64 #1 SMP Tue Nov 22 16:42:41 UTC 2016 x86_64 x8...
-
编辑 删除
Linux下启动伪分布式HADOOP && MySQL命令及脚本
一、启动Hadoop、MySQL命令及脚本：[hadoop@spark220 app]$ vi start-service.sh source ~/.bash_profilesudo su - mysqladmin -c "service mysql start"start-all.sh[hadoop@spark220 app]$ chmod 775 start-service.sh 二、停止Hadoop、MySQL命令及脚本：[hadoop@spark220 app]$ vi st...
-
编辑 删除
Linux&&Hadoop2.x下编译hive1.1.0-cdh5.7.0与配置安装实战
一、首先下载hive-1.1.0-cdh5.7.0的源码压缩包 下载地址：wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0-src.tar.gz二、编译hive-1.1.0-cdh5.7.0的源码包需要maven，我选择的版本是maven3.3.9版本下载地址：http://maven.apache.org/download.cgi由于默认的maven地址下载东西较慢，可以在ma...
