-
数据湖揭秘—Delta Lake
Delta Lake 是 DataBricks 公司开源的、用于构建湖仓架构的存储框架。能够支持 Spark，Flink，Hive，PrestoDB，Trino 等查询/计算引擎。作为一个开放格式的存储层，它在提供了批流一体的同时，为湖仓架构提供可靠的，安全的，高性能的保证。
-
大数据培训Spark SQL知识点与实战分析
Spark SQL概述1、什么是Spark SQLSpark SQL是Spark用于结构化数据(structured data)处理的Spark模块。与基本的Spark RDD API不同，Spark SQL的抽象数据类型为Spark提供了关于数据结构和正在执行的计算的更多信息。在内部，Spark SQL使用这些额外的信息去做一些额外的优化，有多种方式与Spark SQL进行交互，比如: SQL和
-
Spark SQL 字段血缘在 vivo 互联网的实践
字段血缘可以很好的帮助我们了解数据生成的处理过程，在探索中我们发现了可以通过Spark的扩展来优雅的实现这一功能。
-
大数据培训spark SQL中count(*)和count(1)源码分析
以下文章来源于数据仓库践行者本文基于spark 3.2先给结论，在spark sql中count(*)不管在运行效率方面，还是在最终展示结果方面 都等同于count(1)。案例展示sql:SELECT A,COUNT(*) AS CNT FROM TESTDATA2 GROUP BY A 从上面打印可以看到，count(*)在生成未解析的逻辑执行计划时就被转换成了count(1)。也就是
-
大数据培训-Spark深入理解RDD和关键角色
Spark Core关于RDD你需要知道的你肯定在网上看到过一大堆的废话了。比如下面这两段：RDD 是 Spark 提供的最重要的抽象概念，它是一种有容错机制的特殊数据集合，可以分布在集群的结点上，以函数式操作集合的方式进行各种并行操作。通俗点来讲，可以将 RDD 理解为一个分布式对象集合，本质上是一个只读的分区记录集合。每个 RDD 可以分成多个分区，每个分区就是一个数据集片段。一个
-
大数据培训连续登录经典面试案例
一、简介连续登录问题，不管是数据研发、还是数据分析，都是一个经典面试SQL题，本文从易到难，简单拓展，举一反三。 二、表结构注：去过重的。 CREATE TABLE `user_login`( `id` int COMMENT '用户主键', `dt` string COMMENT '登录日期&#
-
《Spark 3.0大数据分析与挖掘：基于机器学习》简介
#好书推荐##好书奇遇季#《Spark 3.0大数据分析与挖掘：基于机器学习》，京东当当天猫都有发售。Spark作为新兴的、应用范围广泛的大数据处理开源框架，吸引了大量的大数据分析与挖掘从业人员进行相关内容的学习与开发，其中ML是Spark 3.0机器学习框架使用的核心。本书用于Spark 3.0 ML大数据分析与挖掘入门，本书配套示例源码、PPT课件、数据集与答疑服务。 本书内容&n
-
大数据培训：Spark性能调优与参数配置
Spark性能调优-基础篇众所周知，正确的参数配置对提升Spark的使用效率具有极大助力，帮助相关数据开发、分析人员更高效地使用Spark进行离线批处理和SQL报表分析等作业。推荐参数配置模板如下： spark-submit 提交方式脚本/xxx/spark23/xxx/spark-submit --master yarn-cluster \--name ${mainClassName} \-
-
大数据培训Spark框架：RDD、DataFrame的区别
RDD、DataFrame是什么在Spark中，RDD、DataFrame是最常用的数据类型。什么是RDD？RDD（Resilient Distributed Datasets）提供了一种高度受限的共享内存模型。即RDD是只读的记录分区的集合，只能通过在其他RDD执行确定的转换操作（如map、join和group by）而创建，然而这些限制使得实现容错的开销很低。RDD仍然足以表示很多类型的计算，
-
spark structed streaming 写入hudi表
通过spark-sql创建hudi表create table if not exists hudi_table3( id int, name string, price double ) using hudi
-
手机小技巧：小米手机怎么隐藏应用？
小米手机上应用太多看不过来了，是时候给桌面来个大扫除了，多余的应用把它给藏起来，小米手机怎么隐藏应用？点进本文手把手教你完成！
-
大数据开发之通过 Spark 来扩展 Presto
概述Presto 最初设计是对数据仓库中的数据运行交互式查询，但现在它已经发展成为一个位于开放数据湖分析之上的统一 SQL 引擎，用于交互式和批处理工作负载，数据湖上的流行工作负载包括：•报告和仪表盘：这包括为内部和外部开发人员提供自定义报告以获取业务洞察力，以及许多使用 Presto 进行交互式 A/B 测试分析的组织。这个用例的典型特征是要求低延迟。它在非常高的 QPS 下需要数十到数百毫秒，
-
Spark读取MongoDB数据的方法与优化
一、传统的较为简单的JDBC方式读取Spark版本：2.4 CDHMongoDB Spark Connector github地址： https://github.com/mongodb/mongo-sparkMaven仓库<dependency> <groupId>org.mongodb.spark</gr
-
大数据开发之Spark SQL 的 Catalyst介绍
一、SQL解析细节（通用）Parse：SQL语句解析生成ASTBind：元数据绑定Optimize：优化执行策略Execute：执行二、Catalyst概念SQL优化器核心执行策略主要分为两个大的方向：基于规则优化（RBO）以及基于代价优化（CBO），基于规则优化是一种经验式、启发式的优化思路，更大数据培训多地依靠前辈总结出来的优化规则，简单易行且能够覆盖到大部分优化逻辑，但是对于核心优化算子Jo
-
大数据开发之SparkSQL面试篇
1.谈谈你对Spark SQL的理解Spark SQL是一个用来处理结构化数据的Spark组件，前身是shark，但是shark过多的依赖于hive如采用hive的语法解析器、查询优化器等，制约了Spark各个组件之间的相互集成，因此Spark SQL应运而生大数据培训。Spark SQL在汲取了shark诸多优势如内存列存储、兼容hive等基础上，做了重新的构造，因此也摆脱了对hive的依赖，但
-
大数据开发之Spark Shuffle 原理分析
Shuffle的产生在Spark作业中当父RDD与子RDD的分区对应关系为多对多或者一对多的情况下会发生宽依赖，也即一个父RDD的分区需要分发到多个子RDD所在的任务中大数据培训去执行，这种情况就会涉及数据的重新分布，也即产生了shuffle。Spark算子是否引入shuffle与各算子的具体实现有关，本质上是要看父子RDD的分区器的实现是否相同，例如：在执行聚合类算子reduceByKey时判断
-
【转】大数据开发之Spark面试八股文
1. Spark 的运行流程？ 具体运行流程如下： SparkContext 向资源管理器注册并向资源管理器申请运行 Executor资源管理器分配 Executor，然后资源管理器启动 ExecutorExecutor 发送心跳至资源管理器SparkContext 构建 DAG 有向无环图将 DAG 分解成 Stage（TaskSet）把 Stage 发送给 TaskSchedul
-
大数据开发之Spark SQL及基础引擎知识分享
Spark SQL作为Spark计算查询的重要支撑，在Spark生态当中的重要性是不言而喻的。Spark SQL使得一般的开发人员或者非专业的开发人员，也能快速完成相应的计算查询需求，大数据培训这也是其存在的重要意义。今天的大数据开发学习分享，我们就来讲讲Spark SQL及基础引擎。在编程级别上，Spark SQL允许开发人员对具有模式的结构化数据发出与ANSI SQL：2003兼容的查询。自从
-
如何在 Apache Flink 1.10 中使用 Python UDF?
简介： 本文将为大家介绍用户如何定义 UDF，并完整展示了如何安装 PyFlink，如何在 PyFlink 中定义/注册/调用 UDF，以及如何执行作业。
-
大数据开发之sparkSQL的使用分享
SparkSQL，使用SQL来完成大数据操作Spark之前使用RDD操作大数据，非常方便，但是也有各种问题，例如RDD每次读取的都是字符串，以及语法比较比较麻烦。大数据培训针对这种情况，spark在新版本中升级RDD为DataFrame和DataSet，并使用SQL的方式去操作数据DataFrame，RDD的升级版，分布式的数据集，并且以列的方式组合的，类似于二维表格式，除数据外保存数据结构信息D
