ITPub博客

package flink.table_sql /*需要maven依赖  *      org.apache.flink     flink-tab

flink connector 之FlinkKafkaProducer

通过spark将数据存储到elasticsearch

flink使用Event_time处理实时数据

ElasticSearch 6.6.0集群安装

//主类 package flink.streaming import java.util.Properties import org.apache.flink.streaming.api.scala._ import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer

为了让Mac支持读写ntfs硬盘，许多人都会花钱购买第三方软件。这类软件不仅价格高，还相当不稳定，哪天你U盘上的数据不见了，很有可能就是拜它所赐。理论上来说，macOS是支持NTFS的读写的，我们只需要修改一些系统参数就能实现了，而且非常简单，小白也能轻松操作。下面POPPUR就来跟大家详细讲解一下该如何让Mac支持ntfs读写。将U盘或者移动硬盘插入电脑，查看它的名称，这里假设名称是A。（为了方

package flink.streamingimport java.util.Propertiesimport org.apache.flink.streaming.api.scala._import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumerimport org.apache.flink.api.common.s

见附件

flink 是可以通过文件名的前缀来识别文件系统的 如 file:///本地文件 hdfs://hadoop文件系统 s3:// s3的文件系统

spark-mlib线性回归

spark with hive

spark读hbase的数据与写入hbase数据

package hgs.spark.sql import org.apache.spark.SparkConf import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.sql.SQLContext im

hadoop 2.6.1 hive 1.2.1或者hive3.0 问题一： iveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClien

hadoop 合并sequcefie并在map中读取

hadoop archive合并小文件并进行mapreduce来减少map的数量

hadoop通过CombineFileInputFormat实现小文件合并减少map的个数 实现需要自定义三个类 如下： 参考： https://www.ibm.com/developerworks/library/bd-hadoopcombine/index.html https://data-flair.training/blogs/hadoop-recordreader/ http://www.idryman.org/blog/2013/09/22/process-small-files-on-hadoop-using-combinefileinputformat-1/

hadoop之mapreduce.input.fileinputformat.split.minsize（旧版本中为mapred.max.split.size）

day5 hadoop hdfs知识笔记