ITPub博客

package hgs.spark.sql import org.apache.spark.SparkConf import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.sql.SQLContext im

hadoop 2.6.1 hive 1.2.1或者hive3.0 问题一： iveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClien

hadoop 合并sequcefie并在map中读取

hadoop archive合并小文件并进行mapreduce来减少map的数量

hadoop通过CombineFileInputFormat实现小文件合并减少map的个数 实现需要自定义三个类 如下： 参考： https://www.ibm.com/developerworks/library/bd-hadoopcombine/index.html https://data-flair.training/blogs/hadoop-recordreader/ http://www.idryman.org/blog/2013/09/22/process-small-files-on-hadoop-using-combinefileinputformat-1/

hadoop之mapreduce.input.fileinputformat.split.minsize（旧版本中为mapred.max.split.size）

day5 hadoop hdfs知识笔记

hadoop 文件夹文件的创建与删除

spark-streaming-kafka通过KafkaUtils.createDirectStream的方式处理数据 参考：https://blog.csdn.net/ligt0610/article/details/47311771

高并发基础Day03复习：    1. Concurrent包 - 原子性操作。本质上就是对数据进行了加锁。    2. NIO：同步式阻塞式IO。在操作的时候基于选择器，面向通道进行传输，利用缓冲区作为载体来存储数据。        1.

org.apache.spark spark-streaming-kafka-0-8_2.11 2.1.1

spark 与flume 1.6.0

spark-streaming之 socketTextStream

day2 Java NIO

day1 java concurrent包一些知识点

spark sql在scala中使用的两种方式，以及其他一些知识点

spark:自定义分区，自定义排序，spark与jdbc，广播变量等

spark lac 分析停留最长的两个地方

spark一些常用算子 ，更多请参考 ：http://homepage.cs.latrobe.edu.au/zhe/ZhenHeSparkRDDAPIExamples.html

spark 2.1.0 standalone模式配置并通过spark-shell完成一个wordcount &&打包jar包通过spark-submit提交