ITPub博客

producer:消息生产者,向kafka broker发消息的客户端consumer:消息消费者,向kafka broker取消息的客户端Topic:发布到Kafka集群消息的一个类别broker:一台kafka服务器就是一个broker,一个集群由多个broker组成,一个broker可以容纳多个topic1.下载安装zookeeper(必须先安装zookeeper和jdk)[root@nod

1.问题描述Oozie web console is disabled.To enable Oozie web console install the Ext JS library.Refer to Oozie Quick Start documentation for details.解决方法:(1).下载ext-2.2.zip包https://pan.baidu.com/s

1.使用hiveserver2报错beeline> !connect jdbc:hive2://node1:10000/tongConnecting to jdbc:hive2://node1:10000/tongEnter username for jdbc:hive2://node1:10000/tong: hive       --mysql用户

phoenix与hbase版本对应:http://phoenix.apache.org/download.htmlphoenix下载地址:http://www.apache.org/dist/phoenix/phoenix安装文档:http://phoenix.apache.org/installation.html1.下载安装phoenix(版本与hbase对应)[root@node1 ~]#

错误解决：http://blog.itpub.net/25854343/viewspace-2565234/MySQL表：mysql> desc t3;+----------------+------------+------+-----+---------+-------+| Field          | Type  &nbs

1.错误提示19/01/30 11:59:48 INFO manager.DirectMySQLManager: Beginning mysqldump fast path import19/01/30 11:59:48 INFO mapreduce.ImportJobBase: Beginning import of t3Exception in thread "main"

1.使用Sqoop查看数据库连接[hdfs@master9102 ~]$ sqoop list-databases --connect jdbc:mysql://172.16.8.93/ --username wangying --password wangyinginformation_schemadb_stktagdb_stock_indicator[hdfs@master9102 ~]$2.

CDH 5.13.0自定义安装Spark 2.2

异常信息:解决方法:是因为节点上次安装没有成功，需要删除

CDH7 parcels安装包：https://archive.cloudera.com/cdh7/latest/parcels/ CM工具：https://archive.cloudera.com/cm7/7.1.4/ CDH parcels安装包:http://archive.cloudera.com/cdh5/parcels/5.13/CDH 所有rpm软件包:https://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.13.0/CDH 管理软件包:http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.13.0/CDH CM工具:http://archive.cloudera.com/cm5/installer/5.13.0/

zookeeper集群文档:https://zookeeper.apache.org/doc/r3.4.13/zookeeperAdmin.htmlnamenode HA文档:https://hadoop.apache.org/docs/r2.8.5/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html1.下载zookee

hive是数据仓库工具,解释器,编译器,忧化器,是非java程序员使用hdfs数据。hive是将sql语句转换成MapReduce任务执行,源数据是HDFS,目标数据在关系型数据库中。1.下载安装hive[root@node1 ~]# wget http://mirrors.shu.edu.cn/apache/hive/hive-2.3.4/apache-hive-2.3.4-bin.tar.gz

     HBase是一个分布式的、面向列的开源数据库，不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。在安装hbase数据库时必须先安装好hadoop和java环境，并测试环境正确无误。

官方文档:https://hadoop.apache.org/docs/r2.8.5/hadoop,hbase,jdk版本对应:https://hbase.apache.org/2.1/book.html1.准备安装先决条件[root@localhost ~]# hostnamectl set-hostname node1    --每台机器设置主机名,重启系统[root@lo