趣头条基于 Flink 的实时平台建设实践
本文由趣头条实时平台负责人席建刚分享趣头条实时平台的建设,整理者叶里君。文章将从平台的架构、Flink现状,Flink应用以及未来计划四部分分享。一.平台架构1.Flink应用时间线首先是平台的架构,2018年3月之前基本都是基于Storm和SparkStreaming来做的。目前,基本已经把Spa
Apache Flink 1.10.0 重磅发布,年度最大规模版本升级!
简介:ApacheFlink社区迎来了激动人心的两位数位版本号,Flink1.10.0正式宣告发布!作为Flink社区迄今为止规模最大的一次版本升级,Flink1.10容纳了超过200位贡献者对超过1200个issue的开发实现,包含对Flink作业的整体性能及稳定性的显著优化、对原生Kuberne
flink源码阅读第一篇—入口
前序由于最近接触了flink相关项目,封装flink-table模块,这部分模块应该在flink官方1.9x版本进行发布,截止目前还是beta版本,等待最终的release版本发布。在开发期间,出于工作和兴趣的需求,就阅读了部分源码,阅读源码期间也是阅读了很多博客文章,发下文章写错的也比比皆是呀,哎
【精彩视频】分布式数据库实践及开源数据库选型思考 (开源软件引用思考)— 苏仕祥
云原生、分布式、HTAP,当前数据库领域百花齐放,2019年的贸易战也更进一步地促进了国产数据库的发展。数据库领域作为IT基础设施,研发难度大,耗时长,拥抱开源则成为了不少公司的选择,并且开源在可控性方面也有一定的优势。个人认为并没有一款数据库能够满足当前各种各样的业务需求,没有最好的只有最适合的,能够满足业务需求的就是最好的数据库。当前各种各样的数据库也都不是凭空而来,都是在实际业务的驱动下而诞
【精彩视频】分布式数据库实践及开源数据库选型思考 (实践)— 苏仕祥
云原生、分布式、HTAP,当前数据库领域百花齐放,2019年的贸易战也更进一步地促进了国产数据库的发展。数据库领域作为IT基础设施,研发难度大,耗时长,拥抱开源则成为了不少公司的选择,并且开源在可控性方面也有一定的优势。个人认为并没有一款数据库能够满足当前各种各样的业务需求,没有最好的只有最适合的,能够满足业务需求的就是最好的数据库。当前
【精彩视频】分布式数据库实践及开源数据库选型思考 (简介)— 苏仕祥
分享大纲:云原生、分布式、HTAP,当前数据库领域百花齐放,2019年的贸易战也更进一步地促进了国产数据库的发展。数据库领域作为IT基础设施,研发难度大,耗时长,拥抱开源则成为了不少公司的选择,并且开源在可控性方面也有一定的优势。个人认为并没有一款数据库能够满足当前各种各样的业务需求,没有最好的只有最适合的,能够满足业务需求的就是最好的数据库。当前各种各样的数据库也都不是凭空而来,都是在实际业务的
【精彩视频】在DevOps时代的质量管控(透过数据看质量)—宋明明
在DevOps时代的质量管控(透过数据看质量)
【精彩视频】在DevOps时代的质量管控(贯穿于DevOps中的质量管控措施)—宋明明
在DevOps时代的质量管控(贯穿于DevOps中的质量管控措施)
【精彩视频】在DevOps时代的质量管控(DevOps质量管控下的切入点)—宋明明
在DevOps时代的质量管控(DevOps质量管控下的切入点)
【精彩视频】在DevOps时代的质量管控(自我介绍)—宋明明
DevOps中的质量保障贯穿了整个产品的交付周期,没有全面的质量保障和测试策略,就无法实现持续交付。为提高公司研发效率和质量,京东数科DevOps平台在实践持续交付过程中一直在进行不断的尝试和努力。依托数科强大的安全和稳定性技术保障,通过统一标准、规范流程、自动化等方式,将分支策略、单元测试、代码扫描、安全规则检查、质量卡点、自动化测试等措施作为质量保证的坚实后盾,贯穿于整个研发流水线,让研发测试
互联网公司没有前浪
(以上画面纯属虚构)--正文开始--当你问起一个互联网人的年龄对方很可能不会坦荡告知反而扭扭捏捏欲语还休最终以隐私、秘密之类的借口搪塞生怕让人发现——那他快35了(尽管张东升同款发型早已出卖了他)后浪在奔涌中浪在挣扎前浪在出摊每一朵浪花都在自己的位置翻涌着互联网公司没有后浪(哪朵后浪愿意享福报赚钱呢
Flink(Flink原理、实战与性能优化)
简述flink:核心是一个分布式、高性能、高可用、实时性的流式框架,支持实时流处理和批处理;flink统一了批处理和流处理,把批处理当做流处理的一种特殊情况(和spark的区别),流处理数据无解,批处理数据有界。flink根据固定缓存快进行网络数据传输,用户通过设定固定缓存块的超时值指定缓存块的传输
Spark Streaming -Apache Flink bilibili 实时平台的架构与实践
简介:本文由bilibili大数据实时平台负责人郑志升分享,基于对bilibili实时计算的痛点分析,详细介绍了bilibiliSaber实时计算平台架构与实践。本次分享主要围绕以下四个方面:实时计算的痛点、Saber的平台演进、结合AI的案例实践、未来的发展与思考。摘要:本文由bilibili大数
Flink State 最佳实践
本文主要分享与交流Flink状态使用过程中的一些经验与心得,当然标题取了“最佳实践”之名,希望文章内容能给读者带去一些干货。本文内容首先是回顾state相关概念,并认识和区别不同的statebackend;之后将分别对state使用访问以及checkpoint容错相关内容进行详细讲解,分享一些经验和
Apache Flink CEP 实战
本文根据ApacheFlink实战&进阶篇系列直播课程整理而成,由哈啰出行大数据实时平台资深开发刘博分享。通过一些简单的实际例子,从概念原理,到如何使用,再到功能的扩展,希望能够给打算使用或者已经使用的同学一些帮助。主要的内容分为如下三个部分:FlinkCEP概念以及使用场景。如何使用Fli
Spark Streaming VS Flink
本文从编程模型、任务调度、时间机制、Kafka动态分区的感知、容错及处理语义、背压等几个方面对比SparkStreaming与Flink,希望对有实时处理需求业务的企业端用户在框架选型有所启发。本文篇幅较长,建议先收藏~微信link:SparkStreamingVSFlink#编程模型对比运行角色S
【PPT下载】分布式数据库实践及开源数据库选型思考 —苏仕祥
分享大纲:云原生、分布式、HTAP,当前数据库领域百花齐放,2019年的贸易战也更进一步地促进了国产数据库的发展。数据库领域作为IT基础设施,研发难度大,耗时长,拥抱开源则成为了不少公司的选择,并且开源在可控性方面也有一定的优势。 个人认为并没有一款数据库能够满足当前各种各样的业务需求,没有最好的只有最适合的,
【PPT下载】在DevOps时代的质量管控 —宋明明
分享大纲:DevOps中的质量保障贯穿了整个产品的交付周期,没有全面的质量保障和测试策略,就无法实现持续交付。为提高公司研发效率和质量,京东数科DevOps平台在实践持续交付过程中一直在进行不断的尝试和努力。依托数科强大的安全和稳定性技术保障,通过统一标准、规范流程、自动化等方式,将分支策略、单元测试、代码扫描、安全规则检查、质量卡点、自动化测试等措施作为质量保证的坚实后盾,贯穿于整个研发流水线
Tuna Scope 金枪鱼猎手:当顶级吃货,搞起图像识别
金枪鱼,多数品种体积巨大,最大的体长达3.5米,重达 600-700 千克,在大西洋、印度洋、太平洋和地中海都有分布。 无论金枪鱼在海洋中是何种地位,最终都是餐桌上的常见鱼类。它肉质柔嫩,高蛋白、低脂肪、低热量,富维生素A、D和微量元素,营养价值极高。 全球金枪鱼的消费量已从 1950 年的每年不到 60 万吨,上升到如今的每年近 700 万吨,占到全球海产品交易总量的近 8 %。
基于Flink和规则引擎的实时风控解决方案
案例与解决方案汇总页:阿里云实时计算产品案例&解决方案汇总对一个互联网产品来说,典型的风控场景包括:注册风控、登陆风控、交易风控、活动风控等,而风控的最佳效果是防患于未然,所以事前事中和事后三种实现方案中,又以事前预警和事中控制最好。这要求风控系统一定要有实时性。本文就介绍一种实时风控解决方