演讲简介:
为了应对滴滴数据量爆炸性增长和对实时计算低延迟的高要求,滴滴引入Flink 实时计算框架,目前Flink Streaming已在滴滴的实时监控,实时BI,实时CEP ,和在线业务等领域有了广泛的应用。本次演讲主要介绍Flink Streaming在滴滴大规模生产的应用场景,以及分享生产中遇到的问题以及解决方法,从中获取的经验。
罗江宇 滴滴出行 高级工程师
嘉宾介绍:
浙江大学硕士,滴滴出行高级工程师,曾就职新浪微博,2016年加入滴滴出行,目前从事Flink业务支持,集群稳定性保障和研发工作。
演讲简介:
提供正版, 高清, 流畅的视频播放服务, 始终是爱奇艺所追求的目标, 除了播放体系本身的建设之外, 爱奇艺也立足于用户,从用户的视角来对爱奇艺播放时的播放故障, 卡顿等指标进行实时分析,以提供立体的, 多维度的实时数据监控. 本演讲的内容包括: 实时数据收集、大数据计算平台、实时数据链路、海量数据指标的监控预警等.
胡嘉伟 爱奇艺 高级工程师
嘉宾介绍:
2016年毕业于上海交通大学并加入爱奇艺分布式实时计算团队, 工作期间,作为核心开发人员, 开发实现了Babel这一公司级的统一大数据平台, 所主导开发的Streaming SQL极大地降低了实时任务的开发门槛, 在公司重要业务得到了广泛应用. 除了大数据平台建设之外, 还主力参与爱奇艺用户播放体验实时监控与播放等故障根因分析项目.
演讲简介:
本次分享主要介绍TalkingData数据中心实时数据处理的技术架构,重点介绍面对大数量级数据时Spark Streaming 及NoSQL(HBase&ScyllaDB)的调优及问题的解决办法,还介绍了面对多维度、多值、多版本等业务场景时,使用Bitmap与HBase特性处理的一些解决方法。
张学敏 TalkingData 数据工程TeamLeader
嘉宾介绍:
拥有7年技术实战经验,先后就职于锐安、新浪微博、TalkingData,曾任新浪研发中心大数据team leader,2015年加入TalkingData数据中心部门,负责公司的数据处理、数据服务等工作。
演讲简介:
SQL是数据处理中使用最广泛的语言。它允许用户简明扼要地声明他们的业务逻辑。大数据批计算使用SQL很常见,但是支持SQL的实时计算并不多。Apache Flink是一款同时支持批和流计算的引擎,Flink SQL的实现完全遵循ANSI SQL标准,这是它和其他流处理框架(例如Kafka和Spark)在DSL上的一个重要的不同。阿里巴巴是Flink SQL最大的贡献者,Flink开源社区的一半以上的SQL功能都是阿里工程师开发的。阿里内部绝大部分的流计算业务也都在使用Flink SQL编写。本次演讲我们将介绍Flink SQL的设计原理以及分享在阿里大规模使用中收获的经验。
伍翀 阿里巴巴 高级研发工程师
嘉宾介绍:
花名“云邪”,阿里巴巴计算平台事业部高级研发工程师,Apache Flink Committer。北京理工大学硕士毕业,2015 年加入阿里巴巴,参与阿里巴巴实时计算引擎 JStorm 的开发与设计。从 2016 年开始从事阿里新一代实时计算引擎 Blink SQL 的开发与优化。现在专注的方向主要是分布式处理和实时计算,热爱开源,热爱分享。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69946831/viewspace-3147051/ ,如需转载,请注明出处,否则将追究法律责任。