ITPub博客

zookeeper集群单双节点数问题

Flume作业 nc|exec-memory-logger

需求1：从指定的网络端口上采集日志到控制台输出和HDFS负载算法故障转移

例子场景描述：   将tomcat的日志收集到指定的目录

exec - memory - hdfs spooling - memory - logger taildir-memory-logger

Flume初识与部署

【shuffle】 VS 【map shuffle】

Flume采集数据时在HDFS上产生大量小文件的问题

【Hive】matadata梳理

Hue3.9 搭建集成【HDFS】【Hive】

Scala基本语法学习

环境：win server 2012MySQL：5.5      数据库之前正常使用，突然今天启动MySQL突然提示 '出现错误1067'  于是查找MySQL启动错误日志 提示Table 'mysql.host' doesn't exist         查找MySQL启动调用的my.ini文件    查看datadir参数/d...

实现需求：1) city_info表存在MySQL 2) product_info表存在MySQL3) user_click数据导入Hive4) 三表的join 取TOP3(按区域进行分组)按天分区表5) 查询结果导入到MySQL数据库最终的统计结果字段如下：product_id 商品IDproduct_name 商品名称area   区域click_count  点击数/访问量rank  ...

1.sqoop安装? ??CDH之sqoop下载地址:http://archive.cloudera.com/cdh5/cdh/5一.下载及环境配置wget http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.7.0.tar.gztar -zxvf?/sqoop-1.4.6-cdh5.7.0.tar.gz?-C ~/app[hadoop@hadoop001 conf]$ vim ~/.bash_profileexport ...

sqoop介绍

前言:    HQL常用函数语法和RDBMS语法相似    官网参考:    https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select    https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF一.Hive自带函数--...

官网:     https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL Hive Data Manipulation Language 3.创建测试数据[hadoop@hadoop001 ~]$ cat /home/hadoop/data/1.txt 1 aa1 bb...

Hive-1.1.0-cdh5.7.0安装部署

-- 解法一SELECT   t1.teacher_no,  (CASE WEEK WHEN '1' THEN keshu ELSE 0 END ) 礼拜一,  (CASE WEEK WHEN '2' THEN keshu ELSE 0 END ) 礼拜二,  (CASE WEEK WHEN '3' THEN keshu ELS...

结构化数据 半结构化数据 非结构化数据