ITPub博客

前言之前也分享了不少自己的文章，但是对于Flink来说，还是有不少新入门的朋友，这里给大家分享点Flink相关的资料（国外数据pdf和流处理相关的Paper），期望可以帮你更好的理解Flink。书籍1、《IntroductiontoApacheFlinkbook》这本书比较薄，简单介绍了Flink，

作者|知乎数据工程团队“数据智能”(DataIntelligence)有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的

总是被项目经理问：为什么你的Flink代码占用我这么多的集群资源啊？集群受不了，优化一下吧，程序员一听到优化的痛疼症，你懂的……image今天我们就讲解一个比较基础，且容易被人忽略的基础优化Flink程序的方法。Flink和Spark一样，都有支持广播变量这定义。广播变量，可以理解成为日常的广播，是

1.背景介绍异常检测可以定义为“基于行动者（人或机器）的行为是否正常作出决策”，这项技术可以应用于非常多的行业中，比如金融场景中做交易检测、贷款检测；工业场景中做生产线预警；安防场景做入侵检测等等。根据业务要求的不同，流计算在其中扮演着不同的角色：既可以做在线的欺诈检测，也可以做决策后近实时的结果分

在过去的一年多时间里，我一直在队伍里推广ApacheFlink。很多朋友大概都知道，一年多以前，我负责的项目还在推Spark，但如今我却极力推荐大家尝试使用Flink。公司内外许多朋友开始问我：为什么一年里我的态度转变如此之大，特别是当我司加大对Spark的支持力度的时候。所以我想，也许我可以把自己

上一篇文章《阿里腾讯华为都在追捧的新一代大数据引擎Flink到底有多牛？》中我对新一代大数据处理引擎Flink做了简单的介绍，包括：批量计算与流式计算的区别、流式计算引擎的重要性，以及Flink相比其他流式计算引擎的优势。因为Flink性能优秀，解决了之前流式计算引擎的痛点，非常适合电商促销、风险控

作者介绍：董亭亭，快手大数据架构实时计算引擎团队负责人。目前负责Flink引擎在快手内的研发、应用以及周边子系统建设。2013年毕业于大连理工大学，曾就职于奇虎360、58集团。主要研究领域包括：分布式计算、调度系统、分布式存储等系统。本次的分享包括以下三个部分：介绍Flink在快手的应用场景以及目

ITPUB近期直播汇总

数据安全一直是企业的一个重要的工程，很多企业都有自己的一套安全认证框架，如何将第三方的安全认证框架集成到FlinkonYarn实现中呢？目前FlinkonKerberosYarn的实现方案是通过客户端将keytab提交到Hadoop集群，再通过YARN分发keytab给AM和其他运行TaskMana

Flink集群搭建,Standalone,集群部署,HA高可用三种模式部署方式基础环境准备3台虚拟机配置无密码登录配置方法:https://ipooli.com/2020/04/linux_host/并且做好主机映射。下载Flinkhttps://www.apache.org/dyn/closer.

背景都在说实时数据架构，你了解多少？​mp.weixin.qq.com早期数据仓库构建主要指的是把企业的业务数据库如ERP、CRM、SCM等数据按照决策分析的要求建模并汇总到数据仓库引擎中，其应用以报表为主，目的是支持管理层和业务人员决策（中长期策略型决策）。随着业务和环境的发展，这两方面都在发生着

一、Flink核心概念1、Flink核心概念（1）Flink是什么？ApacheFlink是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境，对各种大小的数据规模进行快速计算。官网：https://flink.apache.orghttps://data-ar

一、时间语义与Wartermark1、Flink中的时间语义在Flink的流式处理中，会涉及到时间的不同概念，如下图所示：EventTime：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink通过时间戳分配器访问事件时间戳。Ingesti

场景获取流数据的时候,通常需要根据所需把流拆分出其他多个流,根据不同的流再去作相应的处理。举个例子:创建一个商品实时流,商品有季节标签,需要对不同标签的商品做统计处理,这个时候就需要把商品数据流根据季节标签分流。分流方式使用Filter分流使用Split分流使用SideOutput分流如何分流先模拟

FlinkTableApi&SQL初体验,Blink的使用概述Flink具有TableAPI和SQL-用于统一流和批处理。TableAPI是用于Scala和Java的语言集成查询API，它允许以非常直观的方式组合来自关系运算符（例如选择，过滤和联接）的查询。Flink的SQL支持基于实现SQ

流式计算系统系列：总纲​zhuanlan.zhihu.com状态需求的来源现实中的计算可以根据对状态的需求分为无状态的计算和有状态的计算两种。无状态的计算意味着单条输入包含计算出输出的所有信息，不需要其他信息即可得到输出；而有状态的计算意味着单条输入仅包含计算出输出的部分信息，其他信息依赖于之前的输

随着大数据的技术的飞速发展，大数据处理引擎也再不断在进化。从一开始的hadoop的mapreduce再后来的spark,strom,flink。每款产品的出现都有着象征性意义，但都有各自的特点和各自适用的场景。1.mapreduce只能做批处理，是基于磁盘的计算。会有大量的io操作，但是在硬件水平还

简介：Flink从1.9.0版本开始增加了对Python的支持（PyFlink），在刚刚发布的Flink1.10中，PyFlink添加了对PythonUDFs的支持，现在可以在TableAPI/SQL中注册并使用自定义函数。PyFlink的架构如何，适用于哪些场景？本文将详细解析并进行CDN日志分析

FlinkSqlGateway是Flink集群的“任务网关”，支持以restapi的形式提交查询、插入、删除等任务。官网推荐与Flinkjdbcdriver搭配使用，不过jdbcdriver限制了很多功能，如果自己开发数据平台，最好还是直接使用sqlgateway。想要透彻的使用sqlgateway

简介：Flink社区在集成Hive功能方面付出很多，目前进展也比较顺利，最近Flink1.10.0RC1版本已经发布，感兴趣的读者可以进行调研和验证功能。作者：JasonApacheSpark什么时候开始支持集成Hive功能？笔者相信只要使用过Spark的读者，应该都会说这是很久以前的事情了。那Ap