ITPub博客

环境：win server 2012MySQL：5.5      数据库之前正常使用，突然今天启动MySQL突然提示 '出现错误1067'  于是查找MySQL启动错误日志 提示Table 'mysql.host' doesn't exist         查找MySQL启动调用的my.ini文件    查看datadir参数/d...

实现需求：1) city_info表存在MySQL 2) product_info表存在MySQL3) user_click数据导入Hive4) 三表的join 取TOP3(按区域进行分组)按天分区表5) 查询结果导入到MySQL数据库最终的统计结果字段如下：product_id 商品IDproduct_name 商品名称area   区域click_count  点击数/访问量rank  ...

1.sqoop安装? ??CDH之sqoop下载地址:http://archive.cloudera.com/cdh5/cdh/5一.下载及环境配置wget http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.7.0.tar.gztar -zxvf?/sqoop-1.4.6-cdh5.7.0.tar.gz?-C ~/app[hadoop@hadoop001 conf]$ vim ~/.bash_profileexport ...

sqoop介绍

前言:    HQL常用函数语法和RDBMS语法相似    官网参考:    https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select    https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF一.Hive自带函数--...

官网:     https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL Hive Data Manipulation Language 3.创建测试数据[hadoop@hadoop001 ~]$ cat /home/hadoop/data/1.txt 1 aa1 bb...

Hive-1.1.0-cdh5.7.0安装部署

-- 解法一SELECT   t1.teacher_no,  (CASE WEEK WHEN '1' THEN keshu ELSE 0 END ) 礼拜一,  (CASE WEEK WHEN '2' THEN keshu ELSE 0 END ) 礼拜二,  (CASE WEEK WHEN '3' THEN keshu ELS...

结构化数据 半结构化数据 非结构化数据

Hive架构设计及原理1.什么是Hive：Hive是构建在Hadoop之上的数据仓库平台，可以结构化的数据文件映射为一张数据库表，并提供完整的SQL查询，然后将SQL语句转换为MapRuce任务进行运行，提交YARN平台调度，优点学习成本之低，通过SQL语句快速实现简单的MapReduce统计Hive没有专门的数据格式，可以很好的工作在Thrift之上...

安装为傻瓜模式安装激活  2018-5-7更新输入    http://idea.toocruel.net   即可，亲测可用。如果资金允许还是希望大家能支持正版，尊重原创

待整理Hadoop之Yarn架构设计(command memory cpu)

Hadoop之MapReduce2架构设计

基础梳理1.Mapreduce 分布式计算系统    一个分布式运算程序的编程框架也是hadoop的数据分析和应用的核心框架,将用户的业务逻辑代码和自带的默认组件整合一个完整的分布式用程序,并发运行在一个hadoop集群上2.为什么需要MapReduce    1.海量数据在单机上受硬件资源限制    2.单机程序...

MapReduces1架构设计

在Hadoop2.0中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container. 这样可以精简MapReduce, 使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示?????????????YARN会管理集群中所有机器的可用计算资源. 基于这些资...

1.MapReduce作业运行流程下面贴出我用visio2010画出的流程示意图：   流程分析：1.在客户端启动一个作业。2.向JobTracker请求一个Job ID。3.将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息。...

YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。内存配置YARN以及MAPREDUCE所有可用的内存资源应该要除去系统运行需要的以及其他的hadoop的一些程序，总共保留的内存...

HDFS为每个用户创建一个回收站:目录:/user/用户/.Trash/Current在系统回收站都有一个周期,周期过后hdfs会彻底删除清空,周期内可以恢复1.HDFS删除文件,无法恢复[hadoop@hadoop001 opt]$ hdfs dfs -rm /123.logDeleted /123.log2. 启用回收站功能[hadoop@hadoop001 hadoop]$ vim core-site.xml

[hadoop@hadoop001 /]$ hadoopUsage: hadoop [--config confdir] [COMMAND | CLASSNAME]  CLASSNAME            run the class named CLASSNAME or  where COMMAND is one of:  fs                   run a generic ...