ITPub博客

本篇核心目标是让大家概要了解一个完整的ApacheFlinkSQLJob的组成部分，以及ApacheFlinkSQL所提供的核心算子的语义，最后会应用TumbleWindow编写一个End-to-End的页面访问的统计示例。1.ApacheFlinkSQLJob的组成我们做任何数据计算都离不开读取原

昨天阿里巴巴宣布Blink2019年初开源，后台很多人让我聊聊Blink开源这个事情。我这里总结一下两个和Blink有关的讲座给大家。希望对大家理解Blink开源这个事情有所帮助。本文非常的偏技术。第一个讲座是今年在里约热内卢的VLDB会场周靖人博士做的关于大数据分析未来的讲座，我之前发过文了：阿里

本文主要介绍Flink接收一个Kafka文本数据流，进行WordCount词频统计，然后输出到标准输出上。通过本文你可以了解如何编写和运行Flink程序。代码拆解首先要设置Flink的执行环境：//创建Flink执行环境StreamExecutionEnvironmentenv=StreamExec

下一代大数据计算引擎自从数据处理需求超过了传统数据库能有效处理的数据量之后，Hadoop等各种基于MapReduce的海量数据处理系统应运而生。从2004年Google发表MapReduce论文开始，经过近10年的发展，基于Hadoop开源生态或者其它相应系统的海量数据处理已经成为业界的基本需求。但

作者：李劲松（之信）如今的大数据批计算，随着Hive数仓的成熟，普遍的模式是Hivemetastore+计算引擎。常见的计算引擎有HiveonMapReduce、HiveonTez、HiveonSpark、SparkintegrateHive、PrestointegrateHive，还有随着Flin

导读:本文整理自8月11日在北京举行的FlinkMeetup，分享嘉宾刘迪珊(2015年加入美团数据平台。致力于打造高效、易用的实时计算平台，探索不同场景下实时应用的企业级解决方案及统⼀化服务)。美团实时计算平台现状和背景实时平台架构上图呈现的是当前美团实时计算平台的简要架构。最底层是数据缓存层，可

spark开发了好多年，最近在学习flink，分享下最近的学习心得Flink学习资料官方文档https://flink.apache.org/官方视频课程https://github.com/flink-china/flink-training-course/blob/master/%E8%AF%B

当前这个数据时代，各领域各业务场景时时刻刻都有大量的数据产生，如何理解大数据，对这些数据进行有效的处理成为很多企业和研究机构所面临的问题。本文将从大数据的基础特性开始，进而解释分而治之的处理思想，最后介绍一些流行的大数据技术和组件，读者能够通过本文了解大数据的概念、处理方法和流行技术。什么是大数据？

本文由作者授权网易云发布作者：李涵淼，网易云音乐数据平台组工程师相比Spark来说，更多的国内公司愿意去使用Flink作为实时计算引擎解决当前公司的实时业务需求。网易云音乐从实时计算平台打造之初就定下Flink作为计算引擎，不只是考虑到Flink的优点（exactly-onece,state,丰富语

随着Flink1.10版本的发布，TableAPI&SQL得以完善，现在可以基于FlinkSQL实现离线分析了。在离线分析的场景中，最经常的使用场景是读取Hive做分析处理，这时就不得不研究下Flink读取Hive的原理了。在阅读本文之前，可以思考两个问题：1Flink是如何读取Hive数据

在Flink状态管理详解这篇文章中，我们介绍了Flink的状态都是基于本地的，而Flink又是一个部署在多节点的分布式引擎，分布式系统经常出现进程被杀、节点宕机或网络中断等问题，那么本地的状态在遇到故障时如何保证不丢呢？Flink定期保存状态数据到存储上，故障发生后从之前的备份中恢复，整个被称为Ch

本文来自9月1日在成都举行的ApacheFlinkChinaMeetup，分享来自于云邪。本文目录一、Flink介绍1.1Flink基石1.2FlinkAPI1.3Flink的用途1.4FlinkTitle的变化二、Flink过去与现在2.1FlinkHigh-LevelAPI的历史变迁2.2Fli

本文由「AI前线」原创（ID：ai-front），原文链接：比拼生态和未来，Spark和Flink哪家强？策划编辑|Natalie作者｜王海涛编辑｜DebraAI前线导读：在前一篇文章《Spark比拼Flink：下一代大数据计算引擎之争，谁主沉浮？》中，作者对Spark和Flink的引擎做了对比。但

ApacheFlink1.10对TaskManager的内存模型和Flink应用程序的配置选项进行了重大变更。这些最近引入的更改做到了对内存消耗提供了严格的控制，使得Flink在各种部署环境（例如Kubernetes，Yarn，Mesos）更具有适应能力，在本文中，我们将介绍Flink1.10中的内

这篇文章来介绍一下实时计算领域的新霸主ApacheFlink。Flink最早于2008年诞生于柏林理工大学，然后在2014年进入Apache基金会孵化器，毕业之后迅速走红。在2015年，关于Flink的论文问世，也就是ApacheFlink:StreamandBatchProcessinginaSi

本文是Flink学习笔记系列的第四篇文章，主要分享Flink系统架构、时间处理、状态与检查点等核心概念，包括API抽象、JobManager与TaskManager、Flink作业运行基本流程、时间戳与Watermark、状态后端等。之前的文章如下，对大数据和AI感兴趣的朋友可以加我微信aistev

本文主要整理自阿里巴巴计算平台事业部资深技术专家莫问在云栖大会的演讲。合抱之木，生于毫末随着人工智能时代的降临，数据量的爆发，在典型的大数据的业务场景下数据业务最通用的做法是：选用批处理的技术处理全量数据，采用流式计算处理实时增量数据。在绝大多数的业务场景之下，用户的业务逻辑在批处理和流处理之中往往

简介：本文所有的实战演练都将在FlinkSQLCLI上执行，全程只涉及SQL纯文本，无需一行Java/Scala代码，无需安装IDE。上周四在Flink中文社区钉钉群中直播分享了《Demo：基于FlinkSQL构建流式应用》，直播内容偏向实战演示。这篇文章是对直播内容的一个总结，并且改善了部分内容，

分布式系统需要解决：分配和管理在集群的计算资源、处理配合、持久和可访问的数据存储、失败恢复。Fink专注分布式流处理。目录SystemArchitectureDataTransferinFlinkEventTimeProcessingStateManagementCheckpoints,Savepo

新的TaskExecutor内存模型FLIP49为TaskExecutor引入了一种新的内存模型。引入了新的配置选项来控制TaskExecutor的内存消耗。将影响所有类型的部署:standalone,YARN,Mesos和Kubernetes。jobmanager的内存模型尚未更改，但也计划进行更