ITPub博客

关于 “Spark” 的内容如下：

• Spark 加入

  Spark on YarnclientCluster本质区别，driver位置不同1)有哪些不同得进程？2)分别有什么作用？3)Spark作业执行流程是什么样的--master yarnCoarseGrainedExecutorBackend 默认executor有两个CoarseGrainedExecutorBackend SparkSubmitApplicationMast

  mcxiaoracle Spark 83 2022-09-23 19:24

• EMR重磅发布智能运维诊断系统(EMR Doctor)——开源大数据平台运维利器

  E-MapReduce 推出面向开源大数据集群的智能运维诊断系统 E-MapReduce Doctor，有效提升大数据集群运维效率，辅助 EMR 用户完善集群监控体系。

  阿里云大数据AI技术 Spark 498 2022-09-15 15:40

• Spark Streaming编程指南

  Spark Streaming是构建在Spark Core基础之上的流处理框架，是Spark非常重要的组成部分。什么是DStreamSpark Streaming是构建在Spark Core的RDD基础之上的，与此同时Spark Streaming引入了一个新的概念：DStream（Discretized Stream，离散化数据流)，表示连续不断的数据流。DStream抽象是Spark Stre

  mcxiaoracle Spark 434 2022-09-13 05:18

• SparkSQL 概述

  Spark SQL是Spark用于结构化数据(structured data)处理的Spark模块。二、Hive and SparkSQL SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具。 Hive是早期唯一运行在Hadoop上的SQL-on-Hadoop工具。但是MapReduce计算过程中大量的中间磁盘落地过程消耗了大量的

  mcxiaoracle Spark 371 2022-09-12 23:41

• 数据湖统一元数据与权限

  本文整理自阿里云数据湖构建与分析研发熊佳树在7月17日阿里云数据湖技术专场交流会的分享。

  阿里云大数据AI技术 Spark 595 2022-09-08 10:25

• IDEA开发Spark应用实战(Scala)

  实战IDEA开发Scala版的Spark应用

  程序员欣宸 Spark 1257 2022-08-21 19:56

• spark实战之：分析维基百科网站统计数据(java版)

  在《寻找海量数据集用于大数据开发实战(维基百科网站统计数据)》一文中，我们了解了如何获取维基百科网站的网页点击量统计数据，并且介绍了数据格式的基本内容，本文以这些数据进行实战，练习基本的spark开发

  程序员欣宸 Spark 945 2022-08-19 00:11

• 寻找海量数据集用于大数据开发实战(维基百科网站统计数据)

  在学习spark的过程中，除了经典的WrodCount例子（用于统计文本文件中的单词出现次数），我们也在寻找其他海量数据来做更多实战以提高自己，今天介绍的是一个海量数据集的下载方法，以及数据内容的简介

  程序员欣宸 Spark 501 2022-08-18 00:12

• docker下，极速搭建spark集群(含hdfs集群)

  搭建spark和hdfs的集群环境会消耗一些时间和精力，今天咱们就借助docker，极速搭建和体验spark和hdfs的集群环境

  程序员欣宸 Spark 1429 2022-08-17 00:07

• 部署Spark2.2集群(on Yarn模式)

  部署Spark on Yarn集群

  程序员欣宸 Spark 517 2022-08-16 07:39

• Spark适用于哪些场景？不适用于哪些场景？

  Spark是一种通用的大数据计算框架，和传统的大数据技术MapReduce有本质区别。前者是基于内存并行计算的框架，而mapreduce侧重磁盘计算。Spark是加州大学伯克利分校AMP实验室开发的通用内存并行计算框架，用于构建大型的、低延迟的数据分析应用程序。 Spark同样支持离线计算和实时计算两种模式。Spark离线计算速度要比Mapreduce快10-100倍。而实时计算方面，则

  候鸟之恋 Spark 1695 2022-08-15 16:17

• 第一个spark应用开发详解(java版)

  java版的spark应用开发

  程序员欣宸 Spark 1876 2022-08-12 07:23

• spark 架构分析

  Spark Core：包含Spark的基本功能；尤其是定义RDD的API、操作以及这两者上的动作。其他Spark的库都是构建在RDD和Spark Core之上的Spark SQL：提供通过Apache Hive的SQL变体Hive查询语言（HiveQL）与Spark进行交互的API。每个数据库表被当做一个RDD，Spark SQL查询被转换为Spark操作。Spark Streaming：对实时数

  mcxiaoracle Spark 150 2022-08-09 23:47

• 部署spark2.2集群(standalone模式)

  一起来实战部署spark2.2集群(standalone模式)

  程序员欣宸 Spark 438 2022-08-08 00:03

• spark 的简介

  由于Spark采用Scala语言进行开发，因此，建议采用Scala语言进行Spark应用程序的编写。Scala是一门现代的多范式编程语言，平滑地集成了面向对象和函数式语言的特性，旨在以简练、优雅的方式来表达常用编程模式。Scala语言的名称来自于“可伸展的语言”，从写个小脚本到建立个大系统的编程任务均可胜任。Scala运行于Java平台（JVM，Java 虚拟机）上，并兼容现有的Java程序。在实

  mcxiaoracle Spark 351 2022-07-25 22:59

• spark 的方式

  sparkStreaming简介spark Streaming和Storm区别Spark Streaming算子Spark checkpointingSpark和kafka整合SparkStreaming是一种流式处理框架，是SparkAPI的扩展，支持可扩展、高吞吐、容错的准实时数据处理，实时数据的来源可以事：Kafka、Flume、Twitter，zeroMQ或者TCP sockets；并且可

  mcxiaoracle Spark 274 2022-07-20 02:01

• Spark Streaming简单入门（示例+原理）

  SparkStreaming是流式处理框架，是Spark API的扩展，支持可扩展、高吞吐量、容错的实时数据流处理，实时数据的来源可以是：Kafka, Flume, Twitter, ZeroMQ或者TCP sockets，并且可以使用高级功能的复杂算子来处理流数据。例如：map,reduce,join,window 。最终，处理后的数据可以存放在文件系统，数据库等，方便实时展现。让我们从创建St

  mcxiaoracle Spark 412 2022-07-12 00:17

• Q：Spark和Hadoop的架构区别

  Q：Spark和Hadoop的架构区别A：Hadoop:MapRedcue由Map和Reduce两个阶段，并通过shuffle将两个阶段连接起来的。但是套用MapReduce模型解决问题，不得不将问题分解为若干个有依赖关系的子问题，每个子问题对应一个MapReduce作业，最终所有这些作业形成一个DAG。Spark:是通用的DAG框架，可以将多个有依赖关系的作业转换为一个大的DAG。核心思想是将M

  mcxiaoracle Spark 429 2022-07-07 08:23

• spark

  Spark Core：包含Spark的基本功能；尤其是定义RDD的API、操作以及这两者上的动作。其他Spark的库都是构建在RDD和Spark Core之上的Spark SQL：提供通过Apache Hive的SQL变体Hive查询语言（HiveQL）与Spark进行交互的API。每个数据库表被当做一个RDD，Spark SQL查询被转换为Spark操作。Spark Streaming：对实时数

  mcxiaoracle Spark 371 2022-07-05 00:24

• 袋鼠云数栈基于CBO在Spark SQL优化上的探索

  原文链接：袋鼠云数栈基于 CBO 在 Spark SQL 优化上的探索一、Spark SQL CBO 选型背景Spark SQL 的优化器有两种优化方式：一种是基于规则的优化方式 (Rule-Based Optimizer，简称为 RBO)；另一种是基于代价的优化方式 (Cost-Based Optimizer，简称为 CBO)。1、RBO 是传统的 SQL 优化技术RBO 是发展比较早且比较成熟

  数栈DTinsight Spark 471 2022-06-10 11:39