ITPub博客

本文主要整理自阿里巴巴计算平台事业部资深技术专家莫问在云栖大会的演讲。合抱之木，生于毫末随着人工智能时代的降临，数据量的爆发，在典型的大数据的业务场景下数据业务最通用的做法是：选用批处理的技术处理全量数据，采用流式计算处理实时增量数据。在绝大多数的业务场景之下，用户的业务逻辑在批处理和流处理之中往往

简介：本文所有的实战演练都将在FlinkSQLCLI上执行，全程只涉及SQL纯文本，无需一行Java/Scala代码，无需安装IDE。上周四在Flink中文社区钉钉群中直播分享了《Demo：基于FlinkSQL构建流式应用》，直播内容偏向实战演示。这篇文章是对直播内容的一个总结，并且改善了部分内容，

分布式系统需要解决：分配和管理在集群的计算资源、处理配合、持久和可访问的数据存储、失败恢复。Fink专注分布式流处理。目录SystemArchitectureDataTransferinFlinkEventTimeProcessingStateManagementCheckpoints,Savepo

新的TaskExecutor内存模型FLIP49为TaskExecutor引入了一种新的内存模型。引入了新的配置选项来控制TaskExecutor的内存消耗。将影响所有类型的部署:standalone,YARN,Mesos和Kubernetes。jobmanager的内存模型尚未更改，但也计划进行更

简介：本文由bilibili大数据实时平台负责人郑志升分享，基于对bilibili实时计算的痛点分析，详细介绍了bilibiliSaber实时计算平台架构与实践。本次分享主要围绕以下四个方面：实时计算的痛点、Saber的平台演进、结合AI的案例实践、未来的发展与思考。摘要：本文由bilibili大数

Flink支持完全分布式模式，这时它由一个master节点和多个worker节点构成。在本节，我们将搭建一个如下的三个节点的Flink集群。一、Flink集群安装、配置和运行Flink完全分布式集群搭建步骤如下：1、配置从master到worker节点的SSH无密登录，并保持保节点上相同的目录结构。

本文从编程模型、任务调度、时间机制、Kafka动态分区的感知、容错及处理语义、背压等几个方面对比SparkStreaming与Flink，希望对有实时处理需求业务的企业端用户在框架选型有所启发。本文篇幅较长，建议先收藏～微信link：SparkStreamingVSFlink#编程模型对比运行角色S

大家好，我是Lake，专注互联网科技见解分享、程序员经验分享、大数据技术分享。前言Flink1.9版本可以说是一个具有里程碑意义的版本，其内部合入了很多BlinkTable/SQL方面的功能，同时也开始增强Flink在批处理方面的能力，真的是向批流统一的终极方向开始前进。Flink1.9版本在8.2

分布式系统需要解决：分配和管理在集群的计算资源、处理配合、持久和可访问的数据存储、失败恢复。Fink专注分布式流处理。目录SystemArchitectureDataTransferinFlinkEventTimeProcessingStateManagementCheckpoints,Savepo

要想熟练掌握一个大数据框架，仅仅是学习一些网络上的样例程序是远远不够的，我们必须系统地了解它背后的设计和运行原理。本文将以WordCount的案例为主线，主要介绍Flink的设计和运行原理。关于FlinkWordCount程序可以参考我之前的文章PP鲁：Flink01|十分钟搭建第一个Flink应用

ApacheFlink1.10对TaskManager的内存模型和Flink应用程序的配置选项进行了重大变更。这些最近引入的更改做到了对内存消耗提供了严格的控制，使得Flink在各种部署环境（例如Kubernetes，Yarn，Mesos）更具有适应能力，在本文中，我们将介绍Flink1.10中的内

背景Flink通常被用来处理流式数据，有着众多的应用场景，比方说实时的ETL、检测报警等业务场景。这些场景通常会涉及到规则的更新，比如对解析规则和报警规则进行更改后，流任务应能够实时感知到，并用新的规则继续检测，避免因为规则更改而重启任务造成的开销。一般来说流式任务的重启是比较重的。方案选择接下来分

（先给个预告，下一期关于Flink的文章会讲如何将机器学习融入Flink中）摘要本文提供了一种在流计算中不停机动态加载代码来做到敏捷而快速的开发的思路。代码提供在Lofka的lofka-night-watcher模块中。TsingJyujing/lofka​github.com目前利用JavaScr

无论在OLAP还是OLTP领域，Join都是业务常会涉及到且优化规则比较复杂的SQL语句。对于离线计算而言，经过数据库领域多年的积累，Join语义以及实现已经十分成熟，然而对于近年来刚兴起的StreamingSQL来说Join却处于刚起步的状态。其中最为关键的问题在于Join的实现依赖于缓存整个数据

使用flink做实时数仓的公司越来越多了，浪尖这边也是很早就开发了一个flink全sql平台来实现实时数仓的功能。说到实时数仓，两个表的概念大家一定会知道的：事实表和维表。在实时数仓中，事实表就是flink消费的kafka的topic数据流，而维表和离线数仓一样，就是mysql等外部存储的维表。当f

纯粹的科学研究和保持伦理标准并不相斥。MIT道歉并永久下线含偏见内容的数据集近日，MIT计算科学与人工智能实验室CSAIL宣布永久下架一个高引用的用于训练人工智能系统的数据集。因为该数据集带有一定偏见问题，其在训练时可能使用涉及种族主义、女性歧视和其他有问题的术语。据悉，该训练数据集创建于

最近这几年不论大厂小厂招聘时除了靠真金白银吸引人配套福利也成了重要一环在这股东风的吹拂下健身房成了互联网公司的标配一般的互联网公司都一间或大或小的健身房比较有排面的公司甚至会配好健身教练尽管如此互联网人的体型还是呈现出越来越胖的趋势特别是最近这半年人均胖一圈在所有外在条件都齐备的前提下互联网人仍然有

新的TaskExecutor内存模型FLIP49为TaskExecutor引入了一种新的内存模型。引入了新的配置选项来控制TaskExecutor的内存消耗。将影响所有类型的部署:standalone,YARN,Mesos和Kubernetes。jobmanager的内存模型尚未更改，但也计划进行更

我们经常需要在一个时间窗口维度上对数据进行聚合，窗口是流处理应用中经常需要解决的问题。Flink的窗口算子为我们提供了方便易用的API，我们可以将数据流切分成一个个窗口，对窗口内的数据进行处理。本文将介绍如何在Flink上进行窗口的计算。一个Flink窗口应用的大致骨架结构如下所示：//KeyedW

Flink支持完全分布式模式，这时它由一个master节点和多个worker节点构成。在本节，我们将搭建一个如下的三个节点的Flink集群。一、Flink集群安装、配置和运行Flink完全分布式集群搭建步骤如下：1、配置从master到worker节点的SSH无密登录，并保持保节点上相同的目录结构。