流处理应用正在越来越多的行业中扮演重要的角色,完成了传统数据库和批处理所不能完成的功能,如智能城市、风电行业中设备的监控甚至银行的风险控制业务。 Transwarp Stream是基于Spark开发的支持SQL的流计算执行引擎,支持完整的SQL语法(SQL2003)、支持PLSQL(Oracle PLSQL 11g、 DB2 PLSQL)、完善的任务管理、高性能高可靠性等特点。 通过SQL实现流处理应用,可以提高开发效率,降低迁移维护成本,而且可以更灵活地在流上做扩展,如机器学习等。
演讲嘉宾:季钱飞 星环科技Transwarp Stream系统架构师
星环信息科技初创成员、Transwarp Stream系统架构师,具有丰富的流式计算和分布式系统的经验。
携程的实时数据平台是基于Kafka和Storm构建的,这次分享主要将分享我们在实时数据平台的构建,作业管理,监控告警等方面的经验和教训,以及实时数据平台的一些应用,同时也会分享我们自己在技术上的思考以及未来的工作方向;面向的人群是对于大数据技术和实践感兴趣的工程师或技术经理。
演讲嘉宾:张翼 携程大数据平台的负责人
携程大数据平台的负责人,浙江大学硕士毕业,2015年初加入携程,主导了携程实时数据计算平台的建设,以及携程大数据平台整合和平台技术的演进;加入携程之前在大众点评从事大数据基础架构以及数据平台建设的相关工作,从0开始规划和搭建点评的大数据基础平台; 在大数据底层框架(Hadoop , Hive, Spark, Storm …)以及数据平台建设方面有丰富的经验和实践。
主要分享1号店在搜索实时更新系统构建中的架构演进,包括:
(1)如何实现更新流程可跟踪和可监控;
(2)如何保证批量更新与实时数据的一致性;
(3)如何尽量保证各个来源更新调度的公平;
(4)如何提升更新系统的吞吐量等几个方面,分享架构改造过程中积累的经验和教训
面向的人群是对搜索系统、实时更新感兴趣的工程师或技术经理。
演讲嘉宾:周航 1号店搜索架构团队负责人
2012年加入1号店,目前负责搜索架构相关工作,推进分布式搜索平台、实时更新、搜索监控、性能优化、搜索基础数据等架构改造。加入1号店之前,在EMC中国研发中心负责云存储系统Atmos的开发,包括存储资源服务、系统在线升级等工作。
Venus是爱奇艺研发的一套实时数据的采集计算的综合解决方案。该方案专注于为公司各业务提供专业、灵活、可扩展的实时数据接入处理平台,对各类数据实时地进行汇总分析,分析结果可及时的反馈到各业务线(播放系统,搜索,CDN,会员等),用于故障排查、报警,日志分析,指标统计,智能化运营等场景,上线以来,日均处理数据量近50TB。Venus平台技术的实现是基于Spark Streaming,Flume,Kafka,Elasticsearch,Hadoop等大数据技术的二次开发应用,不是简单的部署搭配。本演讲将和大家分享一下Venus的各个模块的设计思路和关键技术的实现细节。
演讲嘉宾:叶炜晨 爱奇艺实时计算团队负责人
毕业于上海交通大学计算机系,2014年加入爱奇艺云平台。长期跟踪大数据相关技术发展,先后从事HBase/Storm/Spark/Kafka/Flume等多项大数据架构相关业务。目前主要负责爱奇艺实时计算分析平台相关工作。
360云盘采用Cassandra作为后端存储,满足云盘海量数据的实时读写需求,纯数据量约400PB,每天新增500TB, 完善的跨IDC 备份方案,数据采用EC存储方案(1.4 副本存储), 计算:storm为云盘业务提供缩略图在线生成、视频转码、热门文件计算、实时统计,通过drpc的方式将storm的业务逻辑以服务化的方式呈现,毫秒级相应业务请求,定制了Storm框架与多语言的交互协议,方便业务部门使用php、python等语言编写storm服务。
演讲嘉宾:郭东东,倪传蕾 奇虎360技术经理,高级软件工程师
郭东东:熟悉HDFS、Cassandra、BigGraph、Kylin等大数据存储分析平台,负责360公司大数据存储系统的开发及运维、对开源系统进行二次开发,平台规模超过4w+服务器,支持公司大量搜索、云盘、安全、商业广告等业务; 倪传蕾,男,江苏南通人,2014年毕业于南京大学计算机系,现在奇虎360从事实时计算方面的工作,主要关注Storm、Kafka、Spark Streaming和Druid等技术。
移动互联网广告市场日趋增大,如何合理运用开源组件,搭建处理百亿级数据的实时计算系统。如何提高kafka的可扩展性进行动态扩容,如何提升平均单机吞吐量,如何搭建Redis集群以合理利用机器资源等,都是大家关心的问题,本次演讲将跟大家分享这些信息。听众受益:了解移动广告平台的大致背景,复杂业务架构/网络环境下的系统架构,实时计算系统的开源组件及其改进措施。
演讲嘉宾:汪巍 多盟架构师
09年硕士毕业于哈尔滨工业大学,加入百度有啊,12年2月加入多盟,先后负责广告检索、基础平台团队、海外项目团队。在多盟ADN时代负责广告检索工程优化,DSP/RTB时代做了第一版架构设计及选型沿用至今,带领海外技术产品团队设计完成了D3项目,使多盟成为中国第一家Facebook Marketing Partner。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69946831/viewspace-3162251/ ,如需转载,请注明出处,否则将追究法律责任。