ITPub博客

关于 “Spark” 的内容如下：

• Gluten + Celeborn: 让 Native Spark 拥抱 Cloud Native

  Celeborn 采用了 Push Shuffle 的设计，通过远端存储、数据重组、内存缓存、多副本等设计，不仅进一步提升 Gluten Shuffle 的性能和稳定性，还使得 Gluten 拥有更好的弹性，从而更好的拥抱云原生。

  阿里云大数据AI技术 Spark 661 2023-07-10 18:09

• Spark SQL、DataFrame、DataSet是什么

   在很多情况下，开发人员并不了解Scala语言，也不了解Spark常用的API，但又非常想要使用Spark框架提供的强大的数据分析能力。Spark的开发工程师们考虑到了这个问题，于是利用SQL语言的语法简洁、学习门槛低以及在编程语言中普及程度和流行程度高等诸多优势，开发了Spark SQL模块。通过Spark SQL，开发人员能够使用SQL语句实现对结构化数据的处理。 本节主要

  brucexia Spark 645 2023-07-06 10:47

• Spark弹性分布式数据集

  1. Spark RDD是什么RDD（Resilient Distributed Dataset，弹性分布式数据集）是一个不可变的分布式对象集合，是Spark中最基本的数据抽象。在代码中RDD是一个抽象类，代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。每个RDD都被分为多个分区，这些分区运行在集群中的不同节点上。RDD可以包含Python、Java、Scala中任意类型的对象，甚至可

  brucexia Spark 594 2023-07-05 14:03

• Spark计算引擎介绍

  1. Spark是什么Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是加州大学伯克利分校的AMP实验室（Algorithms, Machines and People Lab）开源的类Hadoop MapReduce的通用并行框架，拥有Hadoop MapReduce所具有的优点，但不同于MapReduce的是Job（工作）中间输出的结果可以保存在内存中，从而不

  brucexia Spark 684 2023-07-04 15:36

• 如何在Inteillj IDE中使用Spark操作Hive

  都知道，小编前面已经简单介绍过在windows下hadoop和hive环境搭建和基本使用。这次的Spark有点突兀，但是也可以先忽略，重要的是先在IDEA中安装bigData插件连接hadoop已经HDFS，而后再简单介绍使用Spark操作Hive。

  beiqiaosu Spark 217 2023-05-19 17:53

• Spark on K8s 在茄子科技的实践

  Spark 大家都很熟悉，但如何在云原生场景下应用好它是一个难点。本次将分享茄子科技在 Spark on K8s 方面的实践。

  大数据技术前线 Spark 1133 2023-04-11 14:34

• Hive 和 Spark 分区策略剖析

  随着技术的不断的发展，大数据领域对于海量数据的存储和处理的技术框架越来越多。在离线数据处理生态系统最ju代表性的分布式处理引擎当属Hive和Spark，它们在分区策略方面有着一些相似之处，但也存在一些不同之处。

  vivo互联网技术 Spark 740 2023-04-03 10:56

• Spark Catalog深入理解与实战

  Spark识别Hive，也是需要依赖Hive配置项的，配置项的来源可以是$HIVE_HOME环境变量，也可以从Spark的运行环境的classpath下加载Hive相关的配置文件。

  滴普科技 Spark 597 2023-03-30 18:46

• 提速 Spark SQL 2 倍，GLUTEN 向量化引擎原理剖析

  本文主题为 Gluten 向量化引擎，提速 Spark 两倍性能。

  大数据技术前线 Spark 1066 2023-03-30 09:27

• Spark 经典面试题汇总《一》

  大家好我是球球，面试的季节又要到了，球球给大家总结了一些Spark的经典面试题。

  码农谈IT Spark 1164 2023-02-27 13:49

• 大数据技术 - Hive

  介绍Hive是一个基于Hadoop的数据仓库工具，它提供了一种类SQL的查询语言HiveQL（HQL）来查询和分析存储在Hadoop分布式文件系统（HDFS）中的大规模数据。Hive将SQL语句转换为MapReduce任务，并使用Hadoop的分布式计算能力进行处理，以处理非常大的数据集。Hive最初由Facebook开发，后来成为Apache软件基金会的顶级项目。它旨在使非专业用户能够使用S

  元亨利贞 Spark 699 2023-02-24 09:05

• 从实测出发，掌握 NebulaGraph Exchange 性能最大化的秘密

  NebulaGraph Exchange 是图数据库 NebulaGraph 的一款数据处理工具，本篇内容从实测出发，教你如何用上、用好这个数据产品。

  nebulagraph Spark 366 2023-02-01 15:42

• 一看就懂！任务提交的资源判断在Taier中的实践

  Taier 介绍Taier 是袋鼠云开源项目之一，是一个分布式可视化的DAG任务调度系统。旨在降低ETL开发成本、提高大数据平台稳定性，大数据开发人员可以在 Taier 直接进行业务逻辑的开发，而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现，将工作的重心更多地聚焦在业务之中。项目地址：https://github.com/DTStack/TaierTaier 资源判断Taier 基于

  数栈DTinsight Spark 367 2023-02-01 10:54

• Spark3.0.0集群搭建

  一 说明1.1基础环境hadoop3.2.1集群已经安装完成 Hadoop 3.2.1集群 JDK 1.8 1.2 下载Spark软件包官方网址如下：http://spark.apache.org/downloads.html 1.3下载scala软件包官方网址如下：https://www.scala-lang.org/ 二&n

  梦夕林1992 Spark 298 2023-01-28 17:26

• 万字长文+图解，带你轻松学习 Spark（文末送PDF）

  Spark不仅能够在内存中进行高效运算，还是一个大一统的软件栈，可以适用于各种各样原本需要多种不同的分布式平台的场景。

  ITPUB社群 Spark 527 2022-12-22 14:05

• Spark的工作原理

  什么是RDD全称为Resillient Distributed Dataset，即弹性分布式数据集，RDD通过Hadoop上的文件，即HDFS文件进行创建，也可以通过程序中的集合来创建。 RDD的特点弹性：RDD数据默认情况下存放在内存中，但是在内存资源不足时，Spark也会自动将RDD数据写入磁盘；分布式：RDD在抽象上来说是一种元素数据的集合，通过分区在不同节点上从而达到并行操作；容错性

  元亨利贞 Spark 329 2022-12-07 16:12

• Mac部署spark2.4.4

  在Mac系统安装spark，用于学习和开发

  程序员欣宸 Spark 283 2022-11-06 08:59

• 大数据路线图

  整个大数据知识体系学习需要花较长的时间，大数据框架也比较多，下图是我自学大数据的技术栈。我是依据目标企业的招聘要求，选择以下技术栈学习，还有其它的框架，可以视情况而定，选择要不要学。Java是基础工具，我个人是学完JavaSE，重点对集合、多线程以及JVM进行深入学习，JavaEE没有花时间学。如果你时间充裕，比如大二或者研一同学，可以深入学习JavaEE，再进行后续的学习也行。目前企业生产基本使

  mcxiaoracle Spark 327 2022-11-01 23:48

• 查看Spark任务的详细信息

  在学习Spark的过程中，查看任务的DAG、stage、task等详细信息是学习的重要手段，在此做个小结

  程序员欣宸 Spark 513 2022-10-31 07:38

• Apache Spark有何用途？有何特点？

  Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。它支持多语言，提供了 Java、Scala、Python 和 R 中的高级 API，以及支持通用执行图的优化引擎。 用途：数据分析：数据分析师主要负责分析数据并建模的人，具备SQL 统计 预测建模等方面的技能，有一定使用Python和Matlab或者R编程的能力。 Spark通过一系列组件支持数据分析任务。

  候鸟之恋 Spark 604 2022-10-27 16:15