ITPub博客

CentOS6.5 安装jdk1.8

JVM

详解HBase架构原理及单机安装部署步骤

spark-on-yarn作业提交缓慢优化之spark jar包处理

目录一、RDD的概述1.1　什么是RDD？1.2　RDD的属性1.3　WordCount粗图解RDD二、RDD的创建方式2.1　通过读取文件生成的2.2　通过并行化的方式创建RDD2.3　其他方式三、RDD编程API3.1　Transformation3.2　Action3.3　Spark WordCount代码编写3.4　WordCount执行过程图四、RDD的宽依赖和窄依赖4.1　RDD依赖关

环境：  scala版本：2.11.8  zookeeper版本：3.4.5-cdh5.7.0package com.ruozedata.zk import java.util.concurrent.TimeUnit import org.apache.curator.framework.CuratorFrameworkFactory i

Hive上所有元数据均保存在RDBMS中，所以删除RDBMS中的Hive的元数据，不会影响HDFS上的数据。目前针对MySQL数据库进行分析。Hive在MySQL数据库中的相关元数据的关系图：解决办法：先MySQL的库中建个存储过程P_TBL_DATA_DEL后，执行该存储过程就可以了。存储过程脚本：DELIMITER $$DROP PROCEDURE IF EXISTS P_TBL_DATA_D

环境： IDEA+Maven+ScalikeJDBC+MySQL5.61 新建Maven的Scala工程2 pom.xml文件添加依赖：  <properties>    <scala.version>2.11.8</scala.version>    <!-- 添加scalikejdbc 和 mysql

新建FileOps对象：package com.ruozedata.day3import java.io.{File,PrintWriter}import java.text.SimpleDateFormatimport java.util.{Calendar, Date}//import scala.io.Sourceobject FileOps {  def main(args: A

新建ScalaWorldCount对象：package com.ruozedata.day4object ScalaWorldCount {  def main(args: Array[String]): Unit = {    val lines = List("hello ruoze hello jepson","hello ruoz

环境:   IDEA2017.3+Maven-3.3.9+Hive1.1.01. pom.xml里面的依赖包配置<properties>  <hive.version>1.1.0</hive.version></properties><dependencies>  <!-- 添加Hive-jd

hive版本：    hive-1.1.0-cdh5.7.01 编写UDF函数    1.1 用户idea+maven创建项目，pom.xml文件的配置如下：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http...

1 先创建函数类文件       1.1  使用IDEA创建maven项目，创建HelloUDF类        1.2  运行HelloUDF类，测试是否成功    1.3  将HelloUDF类打成jar包。2 创建函数    2.1  创建临时函数    &nbs...

1. 常用的聚合函数：       max        最大值       min         最小值       count      总数       sum        和  &nb...

1 内部表    1.1 创建表默认使用的是MANAGED_TABLE：内部表。    1.2 内部表在drop table 的时候存储在RDBMS上的元数据和存储在HDFS上的数据全部被删除。2 外部表（EXTERNAL）    2.1 创建外部表需要指定。语法： CREATE  [EXTERNAL TABLE table_nam...

Hive构建在Hadoop之上：                                Hive的数据存放在HDFS之上                                Hive的元数据可以存...

环境：        hadoop-2.6.0-cdh5.7.0        hive-1.1.0-cdh5.7.0        sqoop-1.4.6-cdh5.7.0        MySQL5.6.39需求：HIVE统计各个区域下最...

转载：https://blog.csdn.net/haoyutiangang/article/details/50950254一、数据库相关操作（DATABASE）    1.1  创建数据库（create）        CREATE DATABASE [IF NOT EXISTS] database_name        [COMMENT datab...

用来将DOS格式的文本文件转换成UNIX格式的（DOS/MAC to UNIX text  format converter）。DOS下的文本文件是以\r\nvi，而且很多命令都无法很好的处理这种格式的文件，如果是个shell脚本，。而Unix格式的文本文件在Windows下用Notepad打开时会拼在一起显示。因此产生了两种格式文件相互转换的需求，对应的将UNIX格...

环境说明：                1、VM10虚拟机                2、系统：centos6.5          &nbs...