ITPub博客

简介：反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个

简介：反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个

本文由「AI前线」原创（ID：ai-front），原文链接：重磅！阿里9000万欧元收购Flink母公司DataArtisans作者｜MaryLoritz编译｜Vincent编辑｜DebraAI前线导读：AI前线刚刚获悉，阿里巴巴以9000万欧元的价格接管了总部位于柏林的创业公司DataArtisa

聊什么在《ApacheFlink漫谈系列-SQL概览》中我们介绍了JOIN算子的语义和基本的使用方式，介绍过程中大家发现ApacheFlink在语法语义上是遵循ANSI-SQL标准的，那么再深思一下传统数据库为啥需要有JOIN算子呢？在实现原理上面ApacheFlink内部实现和传统数据库有什么区别

​导读FlinkTable&SQLAPI是在DataStream和DataSet之上封装的一层高级API。由于DataStream和DataSet有各自的API，开发起来又有些困难，如果只是应对一些相对通用的需求会有点麻烦。而FlinkTable&SQLAPI，通过关系型的API简化

前言Flink用来消费消息队列中的数据，在消费之后一定会需要用某种方式存起来，这里我简述一下在数据持久化中可能会遇到的坑和解决方案。这篇文章中的代码，都经过本公司业务系统上调试过，是我们在使用Flink开发入库服务的时候踩过的一个个小坑，将它们总结起来，希望减少各位踩坑的数量。本文会以消费Kafka

传统的数据库SQL和实时SQL处理的差别还是很大的，这里简单列出一些区别：尽管存在这些差异，但使用关系查询和SQL处理流并非不可能。高级关系数据库系统提供称为物化视图的功能。物化视图定义为SQL查询，就像常规虚拟视图一样。与虚拟视图相比，物化视图缓存查询的结果，使得在访问视图时不需要执行查询。缓存的

这里主要是基于Flink本地执行环境进行的分析，所以看不到集群环境下，Taskr在各个节点之间的调度。但是，这个分析的好处，就是要知道：1、JobGraph到ExecutionGraph之间的转换2、ExectuionGraph的构建过程中，每个ExectuionVertex和真正执行任务的task

1.TimeFlink中的时间(Time)主要分为三种：EventTime：每条数据真实的产生时间，这就要求每条进入Flink应用的数据都要自己带有时间戳，标明数据产生时间；IngestionTime：是介于Eventtime和ProcessingTime之间的时间。在数据通过SourceFunct

案例与解决方案汇总页：阿里云实时计算产品案例&解决方案汇总1.概述异常检测（anomalydetection）指的是对不符合预期模式或数据集（英语：dataset）中其他项目的项目、事件或观测值的识别。实际应用包括入侵检测、欺诈检测、故障检测、系统健康监测、传感器网络事件检测和生态系统干扰检

数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务，数据仓库的建设也是“数据智能”中必不可少的一环。本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。1.数据仓库简介数据仓库是一个面向主题的（Subject

Flink的状态管理机制详解本文将重点跟大家讲解Flink的状态管理机制，包括状态要解决的问题、Flink几种不同类型的状态、KeyedState和OperatorListState的使用方法等。相关代码参见的github：https://github.com/luweizheng/flink-tu

本文将为大家介绍ApacheFlink在爱奇艺的生产与实践过程。你可以借此了解到爱奇艺引入ApacheFlink的背景与挑战，以及平台构建化流程。主要内容如下：爱奇艺在实时计算方面的的演化和遇到的一些挑战爱奇艺使用Flink的UserCase爱奇艺Flink平台化构建流程爱奇艺在Flink上的改进未

已经更新100+篇~关注公众号,BAT大神带你飞~听说你还在写Java，看Spring，看Dubbo，今天SpringCloud，明天Dubbo3.X新版本...10个开发9个半在写Java后台？框架层出不穷，天天学新东西怕被甩淘汰︿(￣︶￣)︿本文旨在为普通程序员（Java程序员最佳）提供一个入门

ClickHouse大数据分析技术与实战课程基于ClickHouse的最新的20.x版本，从理论到实践，由浅入深详解ClickHouse的原理和使用。1.本课程从零开始，有Linux操作系统和SQL使用经验即可。2.课程以案例驱动，包含大量的实践案例。3.将ClickHouse与MySQL、Kafk

文章内容自定义FlinkSource，案例分别实现了继承于SourceFunction的四个案例，三个完全自定义的Source，另外一个Source为常见的MySQL，通过这几个案例，启发我们进行实际案例的Source研发代码版本Flink:1.10.0Scala:2.12.6官网部分说明这个是关于

所有代码开源在：TsingJyujing/tf.js-on-flink​github.com前言2019年伊始的时候，给自己定下了一个小目标，不用JNI把TensorFlow撸上Flink做实时的预测。把去年放出去的狠话收个尾。之所以定这个目标，主要是因为在机器学习+流计算的场景有两大诉求：如何给流

本文根据ApacheFlink系列直播课程整理而成，由ApacheFlinkPMC，阿里巴巴高级技术专家孙金城分享。重点为大家介绍FlinkPythonAPI的现状及未来规划，主要内容包括：ApacheFlinkPythonAPI的前世今生和未来发展；ApacheFlinkPythonAPI架构及开

简介：如何更快速地预防或甄别可能的欺诈行为？如何从超大规模、高并发、多维度的数据中实现在线实时反欺诈？这些都是金融科技公司当下面临的主要难题。针对这一问题，玖富集团打造基于Flink的超大规模在线实时反欺诈系统，快速处理海量数据并实现良好的用户体验。作者：关贺宇在大数据时代，金融科技公司通常借助消费

一、ApacheFlink的定义、架构及原理ApacheFlink是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态或无状态的计算，能够部署在各种集群环境，对各种规模大小的数据进行快速计算。1.FlinkApplication了解Flink应用开发需要先理解Flink的Streams、