ITPub博客

2020Flink学习路线总结（持续更新）以下资料来源都有标注，基本都属于（就是）一手资料，在信息碎片横行的时代，坚持独立思考、系统学习。预祝大家学习愉快。罗列一手Flink学习资料官方文档https://flink.apache.org/Flink中文社区视频课程https://github.co

知道大数据的同学也应该知道Flink吧，最近在中国的热度比较高，在社区的推动下，Flink技术栈在越来越多的公司开始得到应用。Flink到底火不火？据不完全统计，Flink在中国公司的采用情况（部分）其中,他们用Flink做了什么？Alibaba使用Flink的分支版本Blink来优化实时搜索排名。

阅读与知识的相对维度：目录​zhuanlan.zhihu.com近日常有同学来问我如何阅读代码，关于这个问题的一般性答案我特别提了一个问题并自问自答。出于提供一个实际的例子的考量，正好此前综合地阅读了Spark的RPC实现、Flink基于Akka的RPC实现和ActorModel的通信模型，写成本文

前言：前段时间因为项目需求，需要开发一个实时采集分析日志的任务，最后选择的计算框架是Flink。项目完成后，基本上就没再接触。但总觉得既然用过了，不了解，不清楚，日后又需要还得重新看，很亏啊!所以决定抽空总结一下，一方面可以跟大家交流分享一下新的学习内容，共同进步；另一方面也能更深入的了解传说中的下

本文根据ApacheFlink实战&进阶篇系列直播课程整理而成，由哈啰出行大数据实时平台资深开发刘博分享。通过一些简单的实际例子，从概念原理，到如何使用，再到功能的扩展，希望能够给打算使用或者已经使用的同学一些帮助。主要的内容分为如下三个部分：FlinkCEP概念以及使用场景。如何使用Fli

简介：随着Flink在流式计算的应用场景逐渐成熟和流行，如果Flink能同时把批量计算的应用场景处理好，就能减少用户在使用Flink时开发和维护的成本,并且能够丰富Flink的生态。SQL是批计算中比较常用的工具，所以Flink针对于批计算也以SQL为主要接口。本次分享主要介绍Flink对批处理的设

01,Flink历史Flink也是出自ApacheSoftwareFoundation,师出名门。加入豪门Apache的技术都可以得到长足的发展，这观点在之前的文章中，已经说的太多了，如果你有能打的技术，不放开源给ASF，有一帮子狂热分子能和你造福人类，维护世界和平。2010年，Flink脱胎于德国

Flink的时间概念EventTime：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink通过时间戳分配器访问事件时间戳。IngestionTime：是数据进入Flink的时间。ProcessingTime：是每一个执行基于时间操作的算子

最近flink真是风生水起，但是浪院长看来这不过是阿里错过了创造spark影响力之后，想要在flink领域创建绝对的影响力。但是，不可否认flink在实时领域确实目前来看独树一帜，当然也有它不适合的地方，比如今天要推荐的第一个基于flink开发的项目，流表和维表的join，还有很多地方还是用spar

大家好，本文为FlinkWeekly的第十五期，由张成整理，李本超Review。本期主要内容包括：近期社区开发进展、邮件问题答疑、Flink最新社区动态及技术文章推荐等。Flink开发进展1.Release■[releases]李钰发起了Flink1.10.1RC#3的投票，投票已经通过，最新动态请

什么是复杂事件CEP？一个或多个由简单事件构成的事件流通过一定的规则匹配，然后输出用户想得到的数据，满足规则的复杂事件。特征：目标：从有序的简单事件流中发现一些高阶特征输入：一个或多个由简单事件构成的事件流处理：识别简单事件之间的内在联系，多个符合一定规则的简单事件构成复杂事件输出：满足规则的复杂事

首先，本文假定读者对流计算思想已经有基本的认识、对Flink的API已经熟练使用、对Flink的设计思想已经有初步了解，本文着重介绍从api到flinkjob的详细过程。StreamingAPI通常情况下，如果想要使用flink进行并行计算，开发者会把自己的业务逻辑抽象成流式计算的模型，使用flin

上周六在深圳分享了《FlinkSQL1.9.0技术内幕和最佳实践》，会后许多小伙伴对最后演示环节的Demo代码非常感兴趣，迫不及待地想尝试下，所以写了这篇文章分享下这份代码。希望对于FlinkSQL的初学者能有所帮助。完整分享可以观看Meetup视频回顾：https://developer.aliy

本文由阿里技术专家陈戊超（仲卓）分享。深度学习技术在当代社会发挥的作用越来越大。目前深度学习被广泛应用于个性化推荐、商品搜索、人脸识别、机器翻译、自动驾驶等多个领域，此外还在向社会各个领域迅速渗透。背景当前，深度学习的应用越来越多样化，随之涌现出诸多优秀的计算框架。其中TensorFlow，PyTo

时间就是金钱。流式实时计算能为用户争取到更多的时间，未来需求会越来越大。ApacheFlink是一个集流式批量于一体的大数据处理引擎，它具有高吞吐量和低延迟的性能，有很强容错性，非常适合各类对时间敏感的应用，如金融交易、风险控制、故障检测、电商促销等场景。传统的大数据处理引擎无法胜任类似实时计算的工

相信不少读者在开发Flink应用时或多或少会遇到在内存调优方面的问题，比如在我们生产环境中遇到最多的TaskManager在容器化环境下占用超出容器限制的内存而被YARN/Mesoskill掉[1]，再比如使用heap-basedStateBackend情况下State过大导致GC频繁影响吞吐。这些

前言之前也分享了不少自己的文章，但是对于Flink来说，还是有不少新入门的朋友，这里给大家分享点Flink相关的资料（国外数据pdf和流处理相关的Paper），期望可以帮你更好的理解Flink。书籍1、《IntroductiontoApacheFlinkbook》这本书比较薄，简单介绍了Flink，

作者|知乎数据工程团队“数据智能”(DataIntelligence)有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的

总是被项目经理问：为什么你的Flink代码占用我这么多的集群资源啊？集群受不了，优化一下吧，程序员一听到优化的痛疼症，你懂的……image今天我们就讲解一个比较基础，且容易被人忽略的基础优化Flink程序的方法。Flink和Spark一样，都有支持广播变量这定义。广播变量，可以理解成为日常的广播，是

1.背景介绍异常检测可以定义为“基于行动者（人或机器）的行为是否正常作出决策”，这项技术可以应用于非常多的行业中，比如金融场景中做交易检测、贷款检测；工业场景中做生产线预警；安防场景做入侵检测等等。根据业务要求的不同，流计算在其中扮演着不同的角色：既可以做在线的欺诈检测，也可以做决策后近实时的结果分