ITPub博客

本文整理自FlinkForward全球在线会议，分享者薛康，滴滴实时平台负责人，主要是是从以下四个方面介绍，flink在滴滴的应用与实践：Flink服务概览StreamSQL实践实时计算平台建设挑战与规划1.Flink服务概览1.1滴滴实时计算发展史2016引入实时计算引擎，但是主要是用户自建集群，

公众号：bigdatatip整理：浪尖本文也算是一个读书笔记吧，书名《数据产品经理》，作者梁旭鹏。五一期间，浪尖没事，就给大家整理些文章，以供大家在大数据的路上走的更明白，更通畅。本文摘自第一章，主要是讲大数据发展，数据产品，数据产品经理，数据产品经理的工作日常及数据产品经理应该具备的思维模式。1.

本文整理自FlinkForward全球在线会议，演讲者云邪，由浪尖整理。1.Flinktable/sql架构演变flink1.9之前的版本，对于TableAPI和SQL的底层实现结构如下图，可以看处流处理和批处理有各自独立的api(流处理DataStream，批处理DataSet)。而且有不同的执行

读本文前，应该先读读浪尖前一篇的文章Sparkjoin种类(>3种)及join选择依据每个框架产生都是为了解决一类问题，每个模块的优化也是为了解决一定的场景下的性能瓶颈。浪尖今天分享的关于Spark3.1之后的自适应执行计划，主要针对以下几个场景，并且有百度率先研发的，不过社区之前一直没有采纳

【妹子说】有人说了，机器学习的算法涉及到大量的数学基础内容，那么我很想好好学习数学，为后面的算法学习做好准备。果然很有眼光啊，那么这一篇文章我们来仔细讲讲机器学习中所涉及到的数学知识吧。可以这么说：机器学习的数学基础主要萌发于三门课程，高等数学、线性代数和概率统计。其中又以后两者更为居多。【妹子说】

一、什么是Spark官网地址：http://spark.apache.org/Spark是用于大规模数据处理的统一分析引擎，spark的一个主要特点是能够在内存中进行计算，及时依赖磁盘进行复杂的运算，Spark比MapReduce更加高效。中间结果输出：基于MapReduce的计算引擎通常会将中间结

RDD编程APISpark支持两个类型（算子）操作：Transformation和Action一、Transformation主要做的是就是将一个已有的RDD生成另外一个RDD。Transformation具有lazy特性(延迟加载)。Transformation算子的代码不会真正被执行。只有当我们

一、casewhen第一种格式:简单Case函数:格式说明case列名when条件值1then选择项1when条件值2then选项2.......else默认值end例子:selectcasejob_levelwhen'1'then'水平1'when'2'then'水平2'when'3'then'水

一、概述(1)在Spark1.6中我们使用的叫Hiveonspark，主要是依赖hive生成spark程序，有两个核心组件SQLcontext和HiveContext。这是Spark1.x版本的语法//setupthesparkconfigurationandcreatecontextsvalspa

Spark是基于内存计算的通用大规模数据处理框架。Spark快的原因：Spark基于内存，尽可能的减少了中间结果写入磁盘和不必要的sort、shuffleSpark对于反复用到的数据进行了缓存Spark对于DAG进行了高度的优化，具体在于Spark划分了不同的stage和使用了延迟计算技术弹性数据分

Actionsreduce(func)Aggregatetheelementsofthedatasetusingafunctionfunc(whichtakestwoargumentsandreturnsone).Thefunctionshouldbecommutativeandassociativ

继上次的Spark-shell脚本源码分析，还剩下后面半段。由于上次涉及了不少shell的基本内容，因此就把trap和stty放在这篇来讲述。上篇回顾：Spark源码分析之SparkShell（上）functionmain(){if$cygwin;then#Workaroundforissueinv

终于开始看Spark源码了，先从最常用的spark-shell脚本开始吧。不要觉得一个启动脚本有什么东东，其实里面还是有很多知识点的。另外，从启动脚本入手，是寻找代码入口最简单的方法，很多开源框架，其实都可以通过这种方式来寻找源码入口。先来介绍一下Spark-shell是什么？Spark-shell

在集群运行spark福利部分：《大数据成神之路》大纲大数据成神之路​shimo.im《几百TJava和大数据资源下载》资源下载​shimo.im

Spark大数据处理：工作机制福利部分：《大数据成神之路》大纲大数据成神之路​shimo.im《几百TJava和大数据资源下载》资源下载​shimo.im

Spark-RDD编程福利部分：《大数据成神之路》大纲大数据成神之路​shimo.im《几百TJava和大数据资源下载》资源下载​shimo.im

Spark—数据读取和保存福利部分：《大数据成神之路》大纲大数据成神之路​shimo.im《几百TJava和大数据资源下载》资源下载​shimo.im

Spark-在集群上运行Spark福利部分：《大数据成神之路》大纲大数据成神之路​shimo.im《几百TJava和大数据资源下载》资源下载​shimo.im

Spark编程进阶福利部分：《大数据成神之路》大纲大数据成神之路​shimo.im《几百TJava和大数据资源下载》资源下载​shimo.im

本篇文档是介绍如何快速使用spark，首先将会介绍下spark在shell中的交互api，然后展示下如何使用java,scala,python等语言编写应用。可以查看编程指南了解更多的内容。为了良好的阅读下面的文档，最好是结合实际的练习。首先需要下载spark,然后安装hdfs，可以下载任意版本的h