演讲简介:
随着网易云音乐、新闻、考拉、严选等互联网业务的快速发展,网易开始加速大数据平台建设,以提高数据获取速度,提升数据分析效率,更快发挥数据价值。 本次演讲主要分享网易如何围绕和改造开源技术,以产品化思维打造网易自己的大数据平台, 也会分享一下网易在大数据平台构建和支撑互联网业务过程中面临的技术挑战,以及我们在调度、安全、元数据管理、spark多租户、SQL流计算、高性能查询引擎等关键技术环节的实践经验。 最后会介绍一下,网易大数据平台未来的技术路线规划。
余利华 网易 数据库和大数据总监
嘉宾介绍:
就职于网易杭州研究院,负责网易大数据平台和数据库业务,主导了网易大数据平台建设。
演讲简介:
Spark Streaming是一款较为成熟的大规模流式数据处理的开源产品,在工程实践中得到非常广泛的应用。本次演讲将重点介绍Spark Streaming在滴滴海量数据场景下的使用实践以及从中收获的经验。
赵士杰 滴滴出行 高级工程师
嘉宾介绍:
2015年加入滴滴出行,做过滴滴内部的实时监控系统、实时数据ETL平台、随后负责维护滴滴的Spark Streaming集群。
演讲简介:
主要介绍今日头条是如何基于 Flink 构建流式计算平台的,包括基于 Flink 流式平台的搭建过程,将 Jstorm 作业迁移到 Flink 框架,以及构建管理流式作业生命周期的平台的相关经验。
张光辉 今日头条 高级数据平台工程师
嘉宾介绍:
负责头条流式计算平台,熟悉日志采集,日志传输,流式计算,异构数据源同步等相关服务。在头条主要参与构建基于 Flink 的流式平台的工作。
演讲简介:
服务化是大数据计算平台的发展趋势,其有效地降低了用户使用大数据的门槛和成本。但服务化一方面要求大数据计算平台要7x24小时高可靠、高可用、不间断地服务用户;另一方面随着大数据计算平台业务的增长,对于计算平台会不停地有新的需求,要计算平台跟着发展,从而能够去匹配业务的成长,这就要求服务持续迭代发布和演进提供更丰富的功能、更好的性能等。新的发布和演进对于服务来说是影响到稳定性、高可用的关键风险点,因此对于海量大数据服务来说如何处理和平衡好两者至关重要,也是业内公认的挑战难题。
吴永明 阿里巴巴 高级技术专家
嘉宾介绍:
阿里巴巴通用大数据计算平台MaxCompute(原ODPS) 框架架构负责人。主要专注于大数据技术领域,对高可用分布式系统设计开发有多年经验。先后研发过阿里巴巴机器学习平台在线预测系统和通用大数据计算平台框架系统。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69946831/viewspace-3139090/ ,如需转载,请注明出处,否则将追究法律责任。