-
编辑 删除
svn通过https协议访问的搭建过程
见附件
-
编辑 删除
flink batch dataset 的基本操作
flink 是可以通过文件名的前缀来识别文件系统的 如 file:///本地文件 hdfs://hadoop文件系统 s3:// s3的文件系统
-
编辑 删除
spark-mlib线性回归
spark-mlib线性回归
-
编辑 删除
spark with hive
spark with hive
-
编辑 删除
spark与hbase
spark读hbase的数据与写入hbase数据
-
编辑 删除
spark sql与mysql 数据加载与导出数据到mysql
package hgs.spark.sql import org.apache.spark.SparkConf import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.sql.SQLContext im
-
编辑 删除
hive的一些问题
hadoop 2.6.1 hive 1.2.1或者hive3.0 问题一： iveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClien
-
编辑 删除
hadoop 合并sequcefie并在map中读取
hadoop 合并sequcefie并在map中读取
-
编辑 删除
hadoop archive合并小文件并进行mapreduce来减少map的数量
hadoop archive合并小文件并进行mapreduce来减少map的数量
-
编辑 删除
hadoop通过CombineFileInputFormat实现小文件合并减少map的个数
hadoop通过CombineFileInputFormat实现小文件合并减少map的个数 实现需要自定义三个类 如下： 参考： https://www.ibm.com/developerworks/library/bd-hadoopcombine/index.html https://data-flair.training/blogs/hadoop-recordreader/ http://www.idryman.org/blog/2013/09/22/process-small-files-on-hadoop-using-combinefileinputformat-1/
-
编辑 删除
hadoop之mapreduce.input.fileinputformat.split.minsize参数
hadoop之mapreduce.input.fileinputformat.split.minsize（旧版本中为mapred.max.split.size）
-
编辑 删除
day5 hadoop hdfs知识笔记
day5 hadoop hdfs知识笔记
-
编辑 删除
hadoop 文件夹文件的创建与删除
hadoop 文件夹文件的创建与删除
-
编辑 删除
spark-streaming-kafka通过KafkaUtils.createDirectStream的方式处理数据
spark-streaming-kafka通过KafkaUtils.createDirectStream的方式处理数据 参考：https://blog.csdn.net/ligt0610/article/details/47311771
-
编辑 删除
day03 zookeeper笔记
高并发基础Day03复习： 1. Concurrent包 - 原子性操作。本质上就是对数据进行了加锁。 2. NIO：同步式阻塞式IO。在操作的时候基于选择器，面向通道进行传输，利用缓冲区作为载体来存储数据。 1.
-
编辑 删除
spark与kafaka整合workcount示例 spark-stream-kafka
org.apache.spark spark-streaming-kafka-0-8_2.11 2.1.1
-
编辑 删除
spark 与flume 1.6.0
spark 与flume 1.6.0
-
编辑 删除
spark-streaming之 socketTextStream
spark-streaming之 socketTextStream
-
编辑 删除
day2 Java NIO
day2 Java NIO
-
编辑 删除
day1 java concurrent包一些知识点
day1 java concurrent包一些知识点
