ITPub博客

一.DStream 整合RDD1.官网算子 2.使用案例生产中使用多的是一个文件中有很多域名，另一个中是黑名单，要进行剔除 数据一：日志信息 DStream domain,traffic xinlang.com xinlang.com baidu.com 数据二：已有的文件 黑名单 RDD domain baidu.c

一.数据解释与杂项1.External Data Source API 外部数据源2.json也有些弊端例如你第一次读的是 id:1,name:xxx 第二次 id:1,name:xxx,session:222 这样代码就要改 还有数据类型如果你是 id:"xxx" 根本不行 3.常用外部数据源FileSystem:HDFS,Hbase,S3,OSS 等 HDFS 与 mysq

一.第一种方式RDD转化为DataFrame1.官网 2.解释把schema信息全部定义在case class 类里面 3.代码package core import org.apache.spark.sql.SparkSession import org.apache.spark.sql.types.StructType object Test { def main(ar

一.官网位置1.位置 2.解释官网位置 DataSet1.6出现的 SchemaRDD < 1.3 1.3版本前叫 SchemaRDD 1.3以后 叫DataFrame DataSet支持 Scala , JAVA 不支持python DataFrame 支持四种 JAVA,Scala.Python,R DataFrame:并不是spark sql独创的，原来就有的，从

一.SparkSQL架构1.架构 2.解释一个sql 过来 解析成unresolved，只拿出来字段名和表名 但是不知道字段名和表名在哪个位置 需要通过Schema 确定表的位置等信息， 生成逻辑执行计划，Logical,知道数据从哪里来了 通过一些列优化过滤生成物理执行计划Physical 最后把物理执行计划放到spark集群上运行 3.样例 二.SparkSQL的几点误区Spa

一.添加jar包运行1.官网位置点击步骤： Spark Programming Guide Linking with Spark 版本要对应和集群上 2.idea 引入cdh可能报红线 3.原因idea 引入cdh版的hadoop等包可能报红线， 因为默认idea引的仓库是apache的所以有红线 4.解决： 5.上传本地文件公司中是用rz ftp工具不用因为中间有跳板机，f

一.持久化官网1.官网位置截图 2.cache 源码cache底层调用的是persisit ，默认参数是StorageLevel.MEMORY_ONLY cache 用完最好手动干掉 3.StorageLevel源码 4.StorageLevel 解释是否使用磁盘 是否使用内存 不管 反序列化 副本 5.persisit 可以传的参数 6.官网：怎么选择缓存？ 7.上图

一.组件Components1.官网位置体现 2.术语位置 3.数据解释与注意事项Application：SparkContext a driver program + executors Spark-shell 是一个 Application 一个程序里面只能有一个SparkContext Driver program 主要理解为main方法 The process

一.优化方向，序列化1.官网位置 2.解释：默认用的是java序列化，但是会很慢，第二种很快，但是不一定能实现所有序列化 第二种，有些自定义类你需要在代码中注册（Kryo） 3.StorageLevel.MEMORY_ONLY) 方式存储代码 def main(args: Array[String]) { val sparkConf = new SparkConf().setMa

一.计算器1.官网 2.解释计数器只支持加，计算器字task里面 3.测试 4.结果截图WEBUI 4.应用场景数据很多有的数据挂了，做数据质量监控用

一.官网解析1.官网位置截图Monitoring2.解释 对于默认的webui 你访问完就不可以在看到了 这样你不可能知道之前发生什么事情 你可以通过配置在界面上显示 3.spark.eventLog.enabled 打开 你要把spark.eventLog.enabled to true before starting the application. 这个打开 这个配置在spar

一.coalesce1.coalesce源码2.coalesce解释是窄依赖由多变少shuffer默认是false，要注意3.coalesce应用场景解决小文件，例如你如果开始有200个文件对应20分区，你极端情况下你过滤变长一个文件，你不能还用200个分区去装吧用coalesce解决，主要就是把前面的压缩一下，但是过滤完后你要用coalesce必须实现做预估4.上述的极端情况你如果是xxx.oa

一.yarn 架构 二.yarn在spark官网的位置1.Delpoying 的 yarn2.官网位置截图 二.spark -submit 提交到yarn1.官网提交实例2.自己测试提交改进官网实例 spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ /soft/spark/

一 .基础整理 服务器本身不存储数据，数据本身放在HDFS中的，服务器只做功能的进行查，删改等功能 Hive hbase mysql 区别 {% asset_img 各种数据库之间的差别比较.png 这是一个新的博客的图片的说明 %} 服务器本身不存储数据，数据本身放在HDFS中的，服务器只做功能的进行查，删改等功能 Hbase特性 16010 对外访问端口 HBASE是一