-
编辑 删除
大数据时代|阿里为何选择Flink？你知道Flink的前世今生吗？
前言20118年底发生了一件震惊大数据圈的事情，阿里巴巴以9000万欧元的价格收购了位于柏林的DataArtisans这家最牛逼的开源流引擎Flink背后的创业公司。在Hadoop生态圈，Flink是一个比Spark更新的引擎。Spark你肯定知道了，就是那个取代了MapReduce成为新一代数据处
-
编辑 删除
深度解读 Flink 1.11：流批一体 Hive 数仓
文章来源：加米谷大数据Flink1.11features已经冻结，流批一体在新版中是浓墨重彩的一笔，在此提前对Flink1.11中流批一体方面的改善进行深度解读，大家可期待正式版本的发布。Flink1.11中流计算结合Hive批处理数仓，给离线数仓带来Flink流处理实时且Exactly-once的
-
编辑 删除
Flink local模式部署
Flinklocal模式部署flink的local模式运行在单个jvm中。同时local方便快速测试。需求：Java1.8.xorhigher,ssh1、下载https://flink.apache.org/downloads.html2、解压[root@hadoop01local]#tar-zxv
-
编辑 删除
Flink及Storm、Spark主流流框架比较，到底谁会更胜一筹？
引言随着大数据时代的来临，大数据产品层出不穷。我们最近也对一款业内非常火的大数据产品-ApacheFlink做了调研，今天与大家分享一下。ApacheFlink(以下简称flink)是一个旨在提供‘一站式’的分布式开源数据处理框架。是不是听起来很像spark？没错，两者都希望提供一个统一功能的计算平
-
编辑 删除
又双叒来，谷歌网络嵌入函数新专利惹争议，网友：何时申请线性回归？
对于每个深度学习研究者来说，有些算法、方法可以说是研究必备，拿来直接用也是一种日常，但如果有人申请了专利呢？ 最近，谷歌一项新的 AI 专利申请再次引燃了社区对于专利问题的讨论。 该专利的摘要描述如下：
-
编辑 删除
为什么阿里巴巴这么喜欢Flink？ Flink基本原理介绍，看完你也爱
Flink介绍：很多人可能都是在2019年才听到Flink这个词，其实早在2008年，Flink的前身已经是柏林理工大学一个研究性项目，在2014被Apache孵化器所接受，然后迅速地成为了ASF（ApacheSoftwareFoundation）的顶级项目之一。Flink的最新版本目前已经更新到了
-
编辑 删除
Streaming system动态调优
这里的调优可以泛指任何随着外部环境变化（比如workload、系统资源、bottleneck的出现）而改变的操作，比如change parallelism、optimize execution plan、live migration等等 [dspa20-12 dspa20-13 dspa20-14]。下面用几个例子来介绍下。
-
编辑 删除
Streaming system动态调优
这里的调优可以泛指任何随着外部环境变化（比如workload、系统资源、bottleneck的出现）而改变的操作，比如changeparallelism、optimizeexecutionplan、livemigration等等[dspa20-12dspa20-13dspa20-14]。下面用几个例
-
编辑 删除
Flink架构和执行原理
在大数据领域，有许多流计算框架，但是通常很难兼顾延迟性和吞吐量。ApacheStorm提供低延迟，但目前不提供高吞吐量，也不支持在发生故障时正确处理状态。ApacheSparkStreaming的微批处理方法实现了高吞吐量的容错性，但是难以实现真正的低延时和实时处理，并且表达能力方面也不是特别丰富。
-
编辑 删除
FlinkSQL演进过程，解析原理及一些优化策略
本文整理自FlinkForward全球在线会议，演讲者云邪，由浪尖整理。1.Flinktable/sql架构演变flink1.9之前的版本，对于TableAPI和SQL的底层实现结构如下图，可以看处流处理和批处理有各自独立的api(流处理DataStream，批处理DataSet)。而且有不同的执行
-
编辑 删除
Flink Checkpoint原理解析
Flink是一个有状态的分布式流式计算引擎，flink中的每个function或者是operator都可以是有状态的，有状态的function在处理流数据或事件的的同时会存储一部分用户自定义的数据，这使得flink的状态可以作为任何更精细操作的基础。然而总会有一些原因使流任务出现异常（如网络故障、代
-
编辑 删除
Flink 1.10 Container 环境实战
简介：本文第一部分将简明扼要地介绍容器管理系统的演变；第二部分是FlinkonK8S简介，包括集群的部署模式调度原理等等；第三部分是我们这一年以来关于FlinkonK8S的实战经验分享，介绍我们遇到的问题、踩过的坑；最后一部分是Demo，将手把手演示集群部署、任务提交等等。作者|唐云（茶干），阿里巴
-
编辑 删除
Flink on Yarn with Kerberos
Flink作为新一代的大数据处理引擎，其批流一体化的设计与出色的流处理性能，在业界得到了很多头部公司的青睐。目前运行Flink的集群多采用Yarn进行资源管理，这是最成熟的方案。Yarn做为Hadoop生态系统中的工具之一，客户端通常需要经过Kerberos认证才能使用Yarn提交或管理任务。那么F
-
编辑 删除
Flink作业问题分析和调优实践
简介：本文主要分享Flink的CheckPoint机制、反压机制及Flink的内存模型。对这3部分内容的熟悉是调优的前提，文章主要从以下几个部分分享：原理剖析、性能定位、经典场景调优、内存调优。摘要：本文主要分享Flink的CheckPoint机制、反压机制及Flink的内存模型。对这3部分内容的熟
-
编辑 删除
Flink入门实战(上)
一、Flink简介1、初识FlinkFlink起源于Stratosphere项目，Stratosphere是在2010~2014年由3所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目，2014年4月Stratosphere的代码被复制并捐赠给了Apache软件基金会，参加这个孵化项目的初始成
-
编辑 删除
数仓系列 | 深入解读 Flink 资源管理机制
简介：文章主要从基本概念、当前机制与策略、未来发展方向等三个方面帮助开发者深入理解Flink的资源管理机制。作者：宋辛童（五藏）整理：王文杰（Flink社区志愿者）摘要：本文根据ApacheFlink系列直播整理而成，由阿里巴巴高级开发工程师宋辛童分享。文章主要从基本概念、当前机制与策略、未来发展方
-
编辑 删除
TensorFlow On Flink 原理解析
简介：本文将分享如何使用一套引擎搞定机器学习全流程的解决方案。先介绍一下典型的机器学习工作流程。如图所示，整个流程包含特征工程、模型训练、离线或者是在线预测等环节。作者：陈戊超（仲卓），阿里巴巴技术专家深度学习技术在当代社会发挥的作用越来越大。目前深度学习被广泛应用于个性化推荐、商品搜索、人脸识别、
-
编辑 删除
数据仓库、数据湖、流批一体，终于有大神讲清楚了！
作者：蒋晓伟（量仔）阿里云研究员金晓军(仙隐)阿里云高级技术专家摘要：数据仓库，数据湖，包括Flink社区提的流批一体，它们到底能解决什么问题？今天将由阿里云研究员从解决业务问题出发，将问题抽丝剥茧，从技术维度娓娓道来：为什么你需要数据湖或者数据仓库解决方案？它的核心难点与核心问题在哪？如果想稳定落
-
编辑 删除
Kafka 加 Flink 不是终点！下一代大数据平台 Pravega
文章来源：加米谷大数据有人说世界上有三个伟大的发明：火，轮子，以及Kafka。发展到现在，ApacheKafka无疑是很成功的，Confluent公司曾表示世界五百强中有三分之一的企业在使用Kafka。实时备份机制让它在推荐、广告等互联网场景中游刃有余，但是实际生产中还有很多不允许丢数据的场景存在。
-
编辑 删除
flink的yarn模式部署
1、yarncluster模式部署介绍mr和spark都可以基于yarn模式部署，flink也不例外，生产中很多也基于yarn模式部署。flink的yarn模式部署也分为两种方式，一种是yarn-session，一种是yarn-per-job。大致如下图：2、flinksessionHA模式需要先启
