hbase启动时分配region的流程
//1.在这一过程中Hmaster参与的组件包括 AssignmentManager BalancerChore Balancer ServerManager hbase:meata表 //Hmaster中//2.首先分配hbase:meta 在Hmaster.finishiActinveMasterInitialization中调用assign
linux cook
1. linux手动清理患处 1) sync 2) echo 1 > /proc/sys/vm/drop_caches 2. 修改hostname hostname
hadoop 将文件上传到指定的datanode 查看文件所在的块
package hgs.dfsclient.test; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.CreateFlag; import org.apache.hadoop.fs.Path; import org.apache.hado
hadoop 3.x安装注意事项
需要在环境变量中配置如下 hadoop_conf_direxport HADOOP_HOME=/opt/software/hadoop-3.2.1-bakexport PATH=$PATH:$HADOOP_HOME/binexport HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopHADOOP_CONF_DIR主要是HADOOP_CONF_DIR 要不然运行所有的脚
docker创建volume 指定volume 导出image 导入image
1.docker container运行的时候的文件对外部不可见,container退出后就消失 针对于此docker提供了三种管理文件的方式volumes,bind mounts。 volumes:由docker管理在 /var/lib/docker/volumes/ on Linux 可以由
安装docker
1. close Selinux 2.check 3. Uninstall old versions yum remove docker \ docker-client \ &nb
通过ASM 反射实现IOC
ASM修改 分析类
hadoop异构存储+lucene索引
异构存储这个词或许很多人并不陌生,但如果一个搜索引擎将Hadoop得异构存储和索引整合会有什么效果呢? 我们先来看一下hadoop异构存储的相关概念:1. 什么是hadoop的异构存储Hadoop在2.6.0版本中引入了一个新特性—
转发 通过jna.jar来判断电脑是否在充电
https://stackoverflow.com/questions/3434719/how-to-get-the-remaining-battery-life-in-a-windows-system
go 解析xml
package main import ( _ "bufio" "os" "fmt" "encoding/xml" "io/ioutil" "strings" ) type Property
linux 通过xmllint处理xml文件
再shell中可以通过xmllint处理xml文件,搜集别人的资料看了一下用起来不错,因为程序不止在一个机器上跑, 不确定其他机器是否安装xmllint,经过实验 在centos 6.5版本 最小化安装的情况下 xmllint默认是安装的, 这下可以放心使用啦。 xmllint简单处理配合xpath会很好用 xpath的一些只
centos 6.x 7.x防火墙开启端口范围IP地址 配置
#centos 6.x #在开启防火墙的情况下打开nfs iptables -L -n #开启端口 iptables -A INPUT -p tcp --dport 892 -j ACCEPT iptables -A OUTPUT -p t
DateTimeFormatter 和 LocalDateTime
//SimpleDateFormate线程不安全,DateTimeFormatter线程安全 DateTimeFormatter dtf = DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:s"
第一次尝试使用java写spark
package hgs.spark; import java.util.ArrayList; import java.util.Iterator; import java.util.List; import org.apache.spark.SparkConf; import org.apache.spark.api.j
flink 有状态(stateful)的计算
flink在计算的时候可以将一个状态保存在计算过程中 在需要的时候来使用
maven项目打包说有依赖jar包到一个文件夹
https://blog.csdn.net/xpsharp/article/details/47156209
macbook pro破解UltraEdit
附链接地址https://blog.csdn.net/ytm823584371/article/details/80834884
spark写入hive数据
package hgs.spark.hive import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.sql.SparkSession import org.apache.spark.sql.SQLCon
spark读取hbase的数据
spark读取hbase的数据
flink将bathch dataset 转换为sql操作
package flink.table_sql /*需要maven依赖 * org.apache.flink flink-tab