-
编辑 删除
Linux Shell脚本时间调度
Linux Shell脚本时间调度-spark调度
-
编辑 删除
Hadoop KMS配置(HDFS透明加密)
hdfs透明加密处于数据库加密层和文件系统加密层之间。能有效地防止对文件系统的攻击，因为他的存储都是加密的。 对于每个用户可以有不同的加密区。
-
编辑 删除
lvm 扩充逻辑卷空间（linux的磁盘扩容）
1、df -h 查看磁盘容量使用情况。2、fdisk -l 查看未挂载磁盘目录3、vgextend /dev/mapper/centos /dev/sdb4、lvextend -L +0.87T /dev/mapper/centos-root5、xfs_growfs /dev/mapper/centos-root ok!
-
编辑 删除
elasticsearch7.2增删改查
本文章以RestHighLevelClient风格进行增删改查。
-
编辑 删除
Elastic Search 7.x 集群配置
Elastic Search 7.x 集群配置(这里以三台机器为例)
-
编辑 删除
modsecurity黑白名单以及规则检测模式配置
（ 一、黑白名单）百度ip，查询出口ip，编辑 /usr/local/nginx/conf/modsecurity/modsecurity.conf 文件(也可以自定义一个文件,在自定义文件里加入规则集，防止破坏原生的modsecu
-
编辑 删除
ModSecurity3.3下载安装教程
系统： centos7.x nginx： nginx-1.17.3.tar.gz modsecurity： modsecurity-3.0.0.tar.gz nginx-modsecurity: ModSecurity-nginx-master.zip
-
编辑 删除
linux获取最新文件时间以及sshpass使用
ls -lt /root/test |grep aa.* |head -n 1|awk '{print $9}'ls -lt 列出文件夹下面的所有文件并按时间排序head -n 1 查看排名第一的文件awk '{print $9} 打印出第九字段 也就是文件名#赋值给变量aa=`ls -lt /root/scheduler/dataBakup/|gr
-
编辑 删除
HBase vs Hive
1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。 &...
-
编辑 删除
MapReduce工作原理图文详解
1.MapReduce作业运行流程下面贴出我用visio2010画出的流程示意图： 流程分析：1.在客户端启动一个作业。2.向JobTracker请求一个Job ID。3.将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息。...
-
编辑 删除
hdfs命令
hdfs常用命令：第一类：文件路径增删改查系列：hdfs dfs -rmr dir 删除文件夹dirhdfs dfs -lsr 递归查看文件目录信息 hdfs dfs -du -h dir 按照适合阅读的形式人性化显示文件大小hdfs dfs -du path/file显示目标文件file的大小第三类:权限管理类：hdfs dfs -chgrp -R /...
-
编辑 删除
Hadoop-2.6.0-cdh5.7.0安装详解
下载Hadoop地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz下载jdk：注册甲骨文账号下载，推荐1.7版本解压jdk压缩包 tar -zxvf /home/hadoop/software/jdk-7u80-linux-x64.tar.gz -C /usr/java/ 12配置shhhadoop:hadoop:/ho...
-
编辑 删除
Hadoop-2.6.0-cdh5.7.0安装详解
下载Hadoop地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz下载jdk：注册甲骨文账号下载，推荐1.7版本解压jdk压缩包 tar -zxvf /home/hadoop/software/jdk-7u80-linux-x64.tar.gz -C /usr/java/ 12配置shhhadoop:hadoop:/ho...
-
编辑 删除
S3 服务(Simple Storage Service简单存储服务) 简介(与hdfs同一级)
S3 服务(Simple Storage Service简单存储服务) 简介(与hdfs同一级) 图1 spark 相关 亚马逊云存储之S3(Simple Storage Service简单存储服务)(转 )...
-
编辑 删除
Java程序性能分析工具Java VisualVM（Visual GC）
VisualVM 是一款免费的\集成了多个JDK 命令行工具的可视化工具，它能为您提供强大的分析能力，对 Java 应用程序做性能分析和调优。这些功能包括生成和分析海量数据、跟踪内存泄漏、监控垃圾回收器、执行内存和 CPU 分析，同时它还支持在 MBeans 上进行浏览和操作。在内存分析上，Java VisualVM的最大好处是可通过安装...
-
编辑 删除
JVisualVM之GC插件+错误"not supported for this jvm"+命令jstatd
插件安装tools->plugin->Available Plugin 会有值得安装的插件，如：VisualGC 插件列表：https://visualvm.dev.java.net/plugins.html注意：上面提供的端口配置有些麻烦，不如直接这样做： 要使用 VisualGC 必须在远程机上启动jstatd代理程序，否则会显示 “not supported for this jvm”...
-
编辑 删除
JVM快速调优手册v1.0
1.JVM内存组成(堆内存和非堆内存)2.堆内存的垃圾收集器3.Young、Old、Permanent分配策略4.堆内存分配的公式解析5.ParNew收集器+CMS收集器的产品案例分析(优化吞吐量)6.垃圾收集器常见参数
-
编辑 删除
JVM快速调优手册v1.0之六:JVM参数设置、分析
不管是YGC还是Full GC,GC过程中都会对导致程序运行中中断,正确的选择不同的GC策略,调整JVM、GC的参数，可以极大的减少由于GC工作，而导致的程序运行中断方面的问题，进而适当的提高Java程序的工作效率。但是调整GC是以个极为复杂的过程，由于各个程序具备不同的特点，如：web和GUI程序就有很大区别（Web可以适当的停...
-
编辑 删除
JVM快速调优手册v1.0之五:ParNew收集器+CMS收集器的产品案例分析(响应时间优先)
一.服务器: 双核,4个cores; 16G memory[root@alish2-cassandra-01 ~]# cat /proc/cpuinfo | grep "cpu cores"cpu cores : ...
-
编辑 删除
JVM快速调优手册v1.0之四:堆内存分配的CMS公式解析
一.JVM 堆内存组成 Java堆由Perm区和Heap区组成，Heap区由Old区和New区（也叫Young区）组成，New区由Eden区、From区和To区（Survivor）组成。 Eden区用于存放新生成的对象。Eden中的对象生命不会超过一次Minor GC。 Survivor Space 有两个，存放每次垃圾回收后存活的对...
