演讲简介:
大数据系统(在线存储、实时分析、离线计算)之间的数据传输通道是打造大数据平台、挖掘数据价值的重要一环,本主题会介绍阿里HBase在数据传输管道方面沉淀多年的系统和经验,包括高效、稳定、实时的增量导出与批量导入系统等,着重介绍这些系统在面对主备容灾、实时计算、线性扩展、高效稳定方面的挑战及我们的解决方法。
孟庆义 阿里巴巴 技术专家
嘉宾介绍:
专注在大数据领域,拥有多年分布式、高并发、大规模系统的研发与实践经验,先后参与hbase、phoenix、lindorm等产品的内核引擎研发,目前负责阿里上万节点的HBase As a Service的发展与落地。
演讲简介:
本次分享将从实战经验出发,详细介绍从0开始开发一个强一致/高可用/高性能的分布式Log存储系统的过程和挑战;在分享分布式系统设计开发的同时,也会结合工程实践,阐述如何将分布式Log存储系统作为构建其它分布式系统(分布式Cache/分布式Key-value/分布式MQ/分布式数据库)的“基础”,以及如何成为数据抽象中关键的一环。
简怀兵 YY Research Lab 存储负责人
嘉宾介绍:
YY Research Lab存储负责人。10+年后端技术、数据库内核、分布式系统设计研发&架构经验,PTimeDB作者。先后供职于腾讯、唯品会、YY等大型互联网公司。在分布式存储系统的设计研发和工程化实践方面,有较丰富经验。
演讲简介:
通常的缓存系统(典型如memcahed)普遍都将数据内存化,而不支持持久化。纵使后来的Redis解决了数据无法持久化的“硬伤”,但通常缓存系统的持久化功能是否启用也一直是一个让人很纠结的问题。之所以纠结主要是几个原因:1. 缓存系统启用持久化后性能明显下降;2. 数据开启了持久化,但机器down机恢复后依然无法使用或者数据无法自动更新到最新版本;3. 主存依然是内存,所以数据大小需受制于内存,依然无法存储比内存大的数据,故持久化仅仅是备份;4. 设计的时候没考虑持久化,启用持久化后使用非常别扭;而我们的lest从设计开始就解决了这些问题,并且还带来了更多很有意思、也很有实用价值的技术,比如私有的通讯与存储协议、全程无锁的多线程模型等等。
徐海峰 阅文集团 首席架构师、技术专家
嘉宾介绍:
花名:大嘴。10年互联网经验。现任阅文集团首席架构师、技术专家。主要负责阅文集团内容中心分布式系统的架构与实现、海量数据的分布式存储与分布式计算。兼负责公司的专利、技术等开源布道。曾任ctrip国际机票计价引擎架构师、5173分布式存储与计算架构师等工作。多年来一直专心致力于网站的分布式架构、海量数据存储与计算等中间件的研究与实现,并形成有成型的技术认知与理论体系。对大型网站的架构与分布式系统有丰富的实战经验。
演讲简介:
主要介绍腾讯自研内存数据库CKV的演化过程,重点介绍新一代系统的架构设计、特性以及技术细节。并介绍如何兼容Redis协议,以及对比原生解决方案,自研系统自身的优势。
赵森 腾讯 高级工程师
嘉宾介绍:
2010年加入腾讯,先后参与过分布式计算、存储等多个项目的设计与开发;目前在腾讯TEG基础架构部数据库团队负责内存数据库的研发工作。
演讲简介:
随着互联网和大数据的发展,各种nosql数据库层出不穷,在不同的场景下衍生出了不同的产品,本次分享和大家聊聊饿了么分布式kv的设计架构与实践总结。主要内容:1.饿了么分布式kv的架构和实现;2.和其他nosql对比有什么异同;3.在哪些场景下使用以及遇到什么问题;4.思考与总结
赵子明 饿了么 高级架构师
嘉宾介绍:
一个熟悉基础架构和应用架构的双料胖子,曾在大麦网、京东工作。设计开发过Zookeeper多活、分布式kv、API网关等组件。搞过几十个微服务组成的交易系统的梳理优化。有单应用到微服务的演化经历。有高并发下系统性能优化经验。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69946831/viewspace-3159865/ ,如需转载,请注明出处,否则将追究法律责任。