elasticsearch-6.7.1集群搭建
1.下载解压es和jdk包[root@node1 ~]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.7.1.tar.gz[root@node1 ~]# tar xvf elasticsearch-6.7.1.tar.gz -C /opt/[root@node1 ~]# wget https:/
kafka-2.11集群搭建
producer:消息生产者,向kafka broker发消息的客户端consumer:消息消费者,向kafka broker取消息的客户端Topic:发布到Kafka集群消息的一个类别broker:一台kafka服务器就是一个broker,一个集群由多个broker组成,一个broker可以容纳多个topic1.下载安装zookeeper(必须先安装zookeeper和jdk)[root@nod
mongodb用户与角色使用
此文档以mongodb 4.0版本进行对用户权限和角色讲解,更详细内容可参考mongodb官方文档.官方文档:https://docs.mongodb.com/manual/core/security-users/一.mongodb内部角色1.数据库用户角色read --读取数据库对像的权限readWrite &nbs
mongodb索引使用
在mongodb集群中生成数据[root@node2 mongodb-4.0.8]# ./bin/mongo --host 172.16.8.24 --port 27017MongoDB shell version v4.0.8connecting to: mongodb://172.16.8.24:27017/?gssapiServiceName=mongodbImplicit session:
oozie web页面访问To enable Oozie web console install the Ext JS library
1.问题描述Oozie web console is disabled.To enable Oozie web console install the Ext JS library.Refer to Oozie Quick Start documentation for details.解决方法:(1).下载ext-2.2.zip包https://pan.baidu.com/s
hive使用报错解决方法
1.使用hiveserver2报错beeline> !connect jdbc:hive2://node1:10000/tongConnecting to jdbc:hive2://node1:10000/tongEnter username for jdbc:hive2://node1:10000/tong: hive --mysql用户
hbase与phoenix整合(使用phoenix操作hbase数据)
phoenix与hbase版本对应:http://phoenix.apache.org/download.htmlphoenix下载地址:http://www.apache.org/dist/phoenix/phoenix安装文档:http://phoenix.apache.org/installation.html1.下载安装phoenix(版本与hbase对应)[root@node1 ~]#
安装heapster报错
错误信息:I0302 06:10:25.009896 1 influxdb.go:274] Created database "k8s" on influxDB server at "monitoring-influxdb.kube-system.svc:8086"E0302 06:11:05.004391
Kubernetes安装报错总结
1.kubeadm init初使化报错[root@k8s01 ~]# kubeadm init --kubernetes-version=v1.13.3 --pod-network-cidr=10.244.0.0/16 --service-cidr=10.96.0.0/12 --ignore-preflight-errors=Swap[init] Using Kuberne
Sqoop将MySQL数据导入到hive中
错误解决:http://blog.itpub.net/25854343/viewspace-2565234/MySQL表:mysql> desc t3;+----------------+------------+------+-----+---------+-------+| Field | Type &nbs
Sqoop导入数据异常处理
1.错误提示19/01/30 11:59:48 INFO manager.DirectMySQLManager: Beginning mysqldump fast path import19/01/30 11:59:48 INFO mapreduce.ImportJobBase: Beginning import of t3Exception in thread "main"
sqoop1.4.7环境搭建及mysql数据导入导出到hive
1.使用Sqoop查看数据库连接[hdfs@master9102 ~]$ sqoop list-databases --connect jdbc:mysql://172.16.8.93/ --username wangying --password wangyinginformation_schemadb_stktagdb_stock_indicator[hdfs@master9102 ~]$2.
Mysql索引原理
MySQL默认使用B+树结构管理索引,B+树中的B代表平衡(balance )。除了B+树还是二叉树,平衡二叉树,B-树。索引可以加快对数据查询,但是会降低修改、删除、更新操作。一、二叉树 二叉树是记录表中每行数据顺序,根据插入的数据不同会更新到索引中,索引不平衡。如果表中数据是顺序写入那二叉树就变成单向链表了。如果写
Mysql 5.7参数优化
dirty
Mysql 5.7内存结构
一、Mysql 5.7内存结构和磁盘结构Buffer Pool缓存池:主要是以数据页存储,包括数据页、索引页、数据字典、锁信息。Change Buffer写缓存:主要读Buffer Pool里面的数据页,对数据页进行修改操作(insert,delete,update)。数据修改时会写入Log Buffer日志。
CDH 5.13.0安装Spark 2.2
CDH 5.13.0自定义安装Spark 2.2
CDH 5.13.0安装到分配时出现“主机运行状态不良”
异常信息:解决方法:是因为节点上次安装没有成功,需要删除
CDH 5.13.0安装方法
CDH7 parcels安装包:https://archive.cloudera.com/cdh7/latest/parcels/ CM工具:https://archive.cloudera.com/cm7/7.1.4/ CDH parcels安装包:http://archive.cloudera.com/cdh5/parcels/5.13/CDH 所有rpm软件包:https://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.13.0/CDH 管理软件包:http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.13.0/CDH CM工具:http://archive.cloudera.com/cm5/installer/5.13.0/
Centos 7.4 图形界面安装Oracle 12c
Oracle 12c下载地址:https://www.oracle.com/database/technologies/oracle-database-software-downloads.html1.检查先决条件 [root@k8s03 ~]# cat /proc/version Linux version 3.10.0-693.el7.x86_64 (builder@kbuilder
mysql 5.7多源复制
主机规划:IP地址主机名数据库版本角色备注10.4.132.50 k8s01mysql-5.7.27master110.4.132.42 k8s02mysql-5.7.27master210.4.132.66 k8s03mysql-5.7.27slave下载地址:http://mirrors.163.com/mysql/Downloads/MySQL-5.7/mysq