ITPub博客

在过去的一年多时间里，我一直在队伍里推广ApacheFlink。很多朋友大概都知道，一年多以前，我负责的项目还在推Spark，但如今我却极力推荐大家尝试使用Flink。公司内外许多朋友开始问我：为什么一年里我的态度转变如此之大，特别是当我司加大对Spark的支持力度的时候。所以我想，也许我可以把自己

上一篇文章《阿里腾讯华为都在追捧的新一代大数据引擎Flink到底有多牛？》中我对新一代大数据处理引擎Flink做了简单的介绍，包括：批量计算与流式计算的区别、流式计算引擎的重要性，以及Flink相比其他流式计算引擎的优势。因为Flink性能优秀，解决了之前流式计算引擎的痛点，非常适合电商促销、风险控

作者介绍：董亭亭，快手大数据架构实时计算引擎团队负责人。目前负责Flink引擎在快手内的研发、应用以及周边子系统建设。2013年毕业于大连理工大学，曾就职于奇虎360、58集团。主要研究领域包括：分布式计算、调度系统、分布式存储等系统。本次的分享包括以下三个部分：介绍Flink在快手的应用场景以及目

ITPUB近期直播汇总

数据安全一直是企业的一个重要的工程，很多企业都有自己的一套安全认证框架，如何将第三方的安全认证框架集成到FlinkonYarn实现中呢？目前FlinkonKerberosYarn的实现方案是通过客户端将keytab提交到Hadoop集群，再通过YARN分发keytab给AM和其他运行TaskMana

Flink集群搭建,Standalone,集群部署,HA高可用三种模式部署方式基础环境准备3台虚拟机配置无密码登录配置方法:https://ipooli.com/2020/04/linux_host/并且做好主机映射。下载Flinkhttps://www.apache.org/dyn/closer.

背景都在说实时数据架构，你了解多少？​mp.weixin.qq.com早期数据仓库构建主要指的是把企业的业务数据库如ERP、CRM、SCM等数据按照决策分析的要求建模并汇总到数据仓库引擎中，其应用以报表为主，目的是支持管理层和业务人员决策（中长期策略型决策）。随着业务和环境的发展，这两方面都在发生着

一、Flink核心概念1、Flink核心概念（1）Flink是什么？ApacheFlink是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境，对各种大小的数据规模进行快速计算。官网：https://flink.apache.orghttps://data-ar

一、时间语义与Wartermark1、Flink中的时间语义在Flink的流式处理中，会涉及到时间的不同概念，如下图所示：EventTime：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink通过时间戳分配器访问事件时间戳。Ingesti

场景获取流数据的时候,通常需要根据所需把流拆分出其他多个流,根据不同的流再去作相应的处理。举个例子:创建一个商品实时流,商品有季节标签,需要对不同标签的商品做统计处理,这个时候就需要把商品数据流根据季节标签分流。分流方式使用Filter分流使用Split分流使用SideOutput分流如何分流先模拟

FlinkTableApi&SQL初体验,Blink的使用概述Flink具有TableAPI和SQL-用于统一流和批处理。TableAPI是用于Scala和Java的语言集成查询API，它允许以非常直观的方式组合来自关系运算符（例如选择，过滤和联接）的查询。Flink的SQL支持基于实现SQ

流式计算系统系列：总纲​zhuanlan.zhihu.com状态需求的来源现实中的计算可以根据对状态的需求分为无状态的计算和有状态的计算两种。无状态的计算意味着单条输入包含计算出输出的所有信息，不需要其他信息即可得到输出；而有状态的计算意味着单条输入仅包含计算出输出的部分信息，其他信息依赖于之前的输

随着大数据的技术的飞速发展，大数据处理引擎也再不断在进化。从一开始的hadoop的mapreduce再后来的spark,strom,flink。每款产品的出现都有着象征性意义，但都有各自的特点和各自适用的场景。1.mapreduce只能做批处理，是基于磁盘的计算。会有大量的io操作，但是在硬件水平还

简介：Flink从1.9.0版本开始增加了对Python的支持（PyFlink），在刚刚发布的Flink1.10中，PyFlink添加了对PythonUDFs的支持，现在可以在TableAPI/SQL中注册并使用自定义函数。PyFlink的架构如何，适用于哪些场景？本文将详细解析并进行CDN日志分析

FlinkSqlGateway是Flink集群的“任务网关”，支持以restapi的形式提交查询、插入、删除等任务。官网推荐与Flinkjdbcdriver搭配使用，不过jdbcdriver限制了很多功能，如果自己开发数据平台，最好还是直接使用sqlgateway。想要透彻的使用sqlgateway

简介：Flink社区在集成Hive功能方面付出很多，目前进展也比较顺利，最近Flink1.10.0RC1版本已经发布，感兴趣的读者可以进行调研和验证功能。作者：JasonApacheSpark什么时候开始支持集成Hive功能？笔者相信只要使用过Spark的读者，应该都会说这是很久以前的事情了。那Ap

原文链接：https://ververica.cn/developers/olap-engine-performance-optimization-and-application-cases/摘要：本文由阿里巴巴技术专家贺小令（晓令）分享，主要介绍ApacheFlink新场景OLAP引擎，内容分为以

文章整理：加米谷大数据ApacheSpark什么时候开始支持集成Hive功能？笔者相信只要使用过Spark的读者，应该都会说这是很久以前的事情了。那ApacheFlink什么时候支持与Hive的集成呢？读者可能有些疑惑，还没有支持吧，没用过？或者说最近版本才支持，但是功能还比较弱。其实比较也没啥意义

问题抽象:Flink单窗口数据量过大，导致窗口聚合过慢。例子:统计某个国家，某个城市的实时订单数。痛点:某"国家_城市"下订单数过大，比如百万级甚至千万级，导致窗口聚合时间过长，过慢。解决方案:先拆分，然后分别计算，最后汇总。拆分可以按照订单尾号拆分(选择尾号可以达到负载均衡，解决数据倾斜问题)。创

简介：本文由趣头条数据平台负责人王金海分享，主要介绍趣头条Flink-to-Hive小时级场景和Flink-to-ClickHouse秒级场景。作者：王金海@趣头条摘要：本文由趣头条数据平台负责人王金海分享，主要介绍趣头条Flink-to-Hive小时级场景和Flink-to-ClickHouse秒