hadoop异构存储+lucene索引
异构存储这个词或许很多人并不陌生,但如果一个搜索引擎将Hadoop得异构存储和索引整合会有什么效果呢? 我们先来看一下hadoop异构存储的相关概念:1. 什么是hadoop的异构存储Hadoop在2.6.0版本中引入了一个新特性—
转发 通过jna.jar来判断电脑是否在充电
https://stackoverflow.com/questions/3434719/how-to-get-the-remaining-battery-life-in-a-windows-system
go 解析xml
package main import ( _ "bufio" "os" "fmt" "encoding/xml" "io/ioutil" "strings" ) type Property
linux 通过xmllint处理xml文件
再shell中可以通过xmllint处理xml文件,搜集别人的资料看了一下用起来不错,因为程序不止在一个机器上跑, 不确定其他机器是否安装xmllint,经过实验 在centos 6.5版本 最小化安装的情况下 xmllint默认是安装的, 这下可以放心使用啦。 xmllint简单处理配合xpath会很好用 xpath的一些只
centos 6.x 7.x防火墙开启端口范围IP地址 配置
#centos 6.x #在开启防火墙的情况下打开nfs iptables -L -n #开启端口 iptables -A INPUT -p tcp --dport 892 -j ACCEPT iptables -A OUTPUT -p t
DateTimeFormatter 和 LocalDateTime
//SimpleDateFormate线程不安全,DateTimeFormatter线程安全 DateTimeFormatter dtf = DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:s"
第一次尝试使用java写spark
package hgs.spark; import java.util.ArrayList; import java.util.Iterator; import java.util.List; import org.apache.spark.SparkConf; import org.apache.spark.api.j
flink 有状态(stateful)的计算
flink在计算的时候可以将一个状态保存在计算过程中 在需要的时候来使用
maven项目打包说有依赖jar包到一个文件夹
https://blog.csdn.net/xpsharp/article/details/47156209
macbook pro破解UltraEdit
附链接地址https://blog.csdn.net/ytm823584371/article/details/80834884
spark写入hive数据
package hgs.spark.hive import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.sql.SparkSession import org.apache.spark.sql.SQLCon
spark读取hbase的数据
spark读取hbase的数据
flink将bathch dataset 转换为sql操作
package flink.table_sql /*需要maven依赖 * org.apache.flink flink-tab
flink connector 之FlinkKafkaProducer
flink connector 之FlinkKafkaProducer
通过spark将数据存储到elasticsearch
通过spark将数据存储到elasticsearch
flink使用Event_time处理实时数据
flink使用Event_time处理实时数据
ElasticSearch 6.6.0集群安装
ElasticSearch 6.6.0集群安装
flink 通过继承RichSinkFunction实现自定义sink,将数据录入数据库
//主类 package flink.streaming import java.util.Properties import org.apache.flink.streaming.api.scala._ import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer
如何解决Mac无法写入U盘的问题
为了让Mac支持读写ntfs硬盘,许多人都会花钱购买第三方软件。这类软件不仅价格高,还相当不稳定,哪天你U盘上的数据不见了,很有可能就是拜它所赐。理论上来说,macOS是支持NTFS的读写的,我们只需要修改一些系统参数就能实现了,而且非常简单,小白也能轻松操作。下面POPPUR就来跟大家详细讲解一下该如何让Mac支持ntfs读写。将U盘或者移动硬盘插入电脑,查看它的名称,这里假设名称是A。(为了方
flink连接消费kafka
package flink.streamingimport java.util.Propertiesimport org.apache.flink.streaming.api.scala._import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumerimport org.apache.flink.api.common.s