ITPub博客

关于 “Spark” 的内容如下：

• spark的基本算子使用和源码解析

  一.coalesce1.coalesce源码2.coalesce解释是窄依赖由多变少shuffer默认是false，要注意3.coalesce应用场景解决小文件，例如你如果开始有200个文件对应20分区，你极端情况下你过滤变长一个文件，你不能还用200个分区去装吧用coalesce解决，主要就是把前面的压缩一下，但是过滤完后你要用coalesce必须实现做预估4.上述的极端情况你如果是xxx.oa

  yunqiublog Spark 1005 2019-07-23 21:54

• spark 与 yarn 结合

  一.yarn 架构 二.yarn在spark官网的位置1.Delpoying 的 yarn2.官网位置截图 二.spark -submit 提交到yarn1.官网提交实例2.自己测试提交改进官网实例 spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ /soft/spark/

  yunqiublog Spark 2111 2019-07-23 16:34

• spark的基础知识整理

  一 .基础整理 服务器本身不存储数据，数据本身放在HDFS中的，服务器只做功能的进行查，删改等功能 Hive hbase mysql 区别 {% asset_img 各种数据库之间的差别比较.png 这是一个新的博客的图片的说明 %} 服务器本身不存储数据，数据本身放在HDFS中的，服务器只做功能的进行查，删改等功能 Hbase特性 16010 对外访问端口 HBASE是一

  yunqiublog Spark 648 2019-07-22 18:09

• 基于 Spark 的数据分析实践

  Spark是在借鉴了MapReduce之上发展而来的，继承了其分布式并行计算的优点并改进了MapReduce明显的缺陷。Spark主要包含了Spark Core、Spark SQL、Spark Streaming、MLLib和GraphX等组件。

  EAWorld Spark 2665 2019-06-19 18:28

• Spark Streaming的优化之路—从Receiver到Direct模式

  Spark Streaming是一种分布式的大数据实时计算框架，他提供了动态的，高吞吐量的流式数据处理。个推开发者服务—消息推送“应景推送”应用了Spark Streaming技术，在应用Spark Streaming做实时处理kafka数据时，采用Direct代替Receiver模式的手段，实现了资源优化和程序稳定性提升。

  个推2018 Spark 1402 2019-06-18 10:42

• 【大数据 】SparkSQL连接查询中的谓词下推处理(二)

  本篇文章要介绍的是--外连接查询中的谓词下推规则，这相比内连接中的规则要复杂一些，不过使用简单的表格来进行分析也是可以分析清楚的。

  vivo互联网技术 Spark 984 2019-06-04 14:28

• 好程序员大数据教程：SparkShell和IDEA中编写Spark程序

  好程序员大数据教程：SparkShell和IDEA中编写Spark程序，spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下用Scala编写Spark程序。spark-shell程序一般用作Spark程序测试练习来用。spark-shell属于Spark的特殊应用程序，我们可以在这个特殊的应用程序中提交应用程序spark-shell启动有两种模

  好程序员IT Spark 1122 2019-05-28 16:54

• 好程序员大数据高端班分享 Spark知识点集合

  　　Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小(大数据库架构中这是是否考虑使用Spark的重要因素)。　　1、Spark的核心是什么?　　RDD是Spark的基本抽象,是对分布式内存的抽象使用，实现了以操作本地集合的方式来操作分布式数据集的抽象实现。RDD也是S

  好程序员IT Spark 1044 2019-05-23 16:43

• 【大数据】SparkSql连接查询中的谓词下推处理(一)

  SparkSql 是架构在 Spark 计算框架之上的分布式 Sql 引擎，使用 DataFrame 和 DataSet 承载结构化和半结构化数据来实现数据复杂查询处理，提供的 DSL可以直接使用 scala 语言完成 Sql 查询，同时也使用 thriftserver 提供服务化的 Sql 查询功能。

  vivo互联网技术 Spark 966 2019-05-23 11:32

• spark2.4.3 sparkSQL 用户自定义函数笔记

  从Spark2.0以上的版本开始，spark是使用全新的SparkSession接口代替Spark1.6中的SQLcontext和HiveContext来实现对数据的加载、转换、处理等工作，并且实现了SQLcontext和HiveContext的所有功能。我们在新版本中并不需要之前那么繁琐的创建很多对象，只需要创建一个SparkSession对象即可。SparkSession支持从不同的数据源加载

  nanlulululu Spark 3443 2019-05-21 13:32

• IDEA WordCount jar包上传spark调试及排错

  Based on:Mac osSpark 2.4.3(Spark running on  a standalone mode  reference blog :http://blog.itpub.net/69908925/viewspace-2644303/  )scala 2.12.8IDEA 20191  IDEA-File-Project S

  nanlulululu Spark 1581 2019-05-16 17:37

• macOS Spark 2.4.3 standalone 搭建笔记

  1、解压nancylulululu:local nancy$ tar -zxvf /Users/nancy/Downloads/spark-2.4.3-bin-hadoop2.7.tar -C /usr/local/opt/2、重命名并修改配置文件nancylulululu:conf nancy$ cp slaves.template slavesnancylulululu:conf nancy$

  nanlulululu Spark 1634 2019-05-14 15:07

• Spark常见问题解决办法

  以下是在学习和使用spark过程中遇到的一些问题，记录下来。1、首先来说说spark任务运行完后查错最常用的一个命令，那就是把任务运行日志down下来。        程序存在错误，将日志down下来查看具体原因!down日志命令：yarn logs -applicationId app_id2、Spark性能优化的9大问题及其

  lei8808 Spark 2442 2019-05-06 19:08

• 通过spark将数据存储到elasticsearch

  通过spark将数据存储到elasticsearch

  hgs19921112 Spark 2491 2019-02-28 23:04

• 开发者在处理大数据问题时，有哪些关键点？

  对开发者来说，我们无需关心什么是大数据，大数据会带来哪些影响。开发者的日常工作，主要是解决哪些业务问题，通过哪些技术手段增加企业的业务价值，并进一步提高用户体验。但是，如果我们能全面地了解大数据的当前和未来状态，可以让开发工作变得得心应手。

  云计算频道 Spark 1550 2019-01-21 15:16

• spark集群使用hanlp进行分布式分词操作说明

  本篇分享一个使用hanlp分词的操作小案例，即在spark集群中使用hanlp完成分布式分词的操作

  adnb34g Spark 675 2019-01-21 10:16

• redis数据结构

  redis不只是一个简单的键(key)-值(value)数据库，实际上它是一个数据结构服务器，支持各种类型的值。也就是说，在传统的键-值数据库中，你把字符串键与字符串值联系起来，而在redis，值不仅限于一个简单的字符串，还可以是更复杂的数据结构。下面列出了所有redis支持的数据结构，下文会分别对这些结构进行介绍：二进制安全字符串队列(lists)：基于插入顺序有序存储的字符串元素集合。主要是链

  Tybyq Spark 1169 2018-12-13 16:59

• 张翼：Spark SQL在携程的实践经验分享！

  之前，大多数公司大数据的数仓都是构建在Hive上的，数据开发的ETL任务以及用户对于数据的即时查询主要使用的工具也是Hive，随着Spark以及其社区的不断发展，Spark及Spark SQL本身技术的不断成熟，Spark在技术架构和性能上都展示出Hive无法比拟的优势，如何使用Spark构建大数据的数仓?如何将现有的数仓平台从Hive转到Spark上?

  大数据频道 Spark 2404 2018-11-28 11:34

• 大数据经典学习路线（及供参考）

  大数据学习路线很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：199427210，有大量干货（零基础以及进阶的经典实战）分享给大家，并且有清华大学毕业的资深大数据讲师给大家免费授课，给大家分享目前国内最完整的大数据高端实战实用学习流程体系Linux基础和分布式集群技术学完此阶段可掌

  金罗老师 Spark 646 2018-11-24 21:02

• 大规模特征构建实践总结

  网上有非常多介绍大规模机器学习的资料，大部分的内容都集中在为何要做大规模机器学习模型以及Parameter Server相关的资料，但我们在实际实践中，发现大规模的特征预处理也有很多问题需要解决。有一次和明风（以前在阿里，后来去了腾讯做了开源的PS：angel）交流过这部分的工作为何没有人开源，结论大致是这部分的工作和业务相关性大，且讲明白了技术亮点不多，属于苦力活，所以没有开源的动力。

  大快搜索DKH Spark 687 2018-11-16 15:22