简介:Apache Kylin(麒麟)是由eBay研发并贡献给开源社区的Hadoop上的分布式大规模联机分析(OLAP)平台。该平台为Hadoop提供了标准SQL接口及多维分析能力,支撑TB到PB级别的数据,在百亿数量级别上能够带来秒级甚至亚秒级的查询性能。该平台已经在eBay内部正式运行并处理着相当大的数据,并在2014年10月初开放给了开源社区。Kylin为Hadoop生态圈带来了OLAP能力,是目前整个生态圈急需的一块,弥补了Hadoop之上商业分析的空缺。其全面的平台体系使得使用者可以快速搭建并运行,其与商务智能分析软件的集成,例如Tableau,为分析人员提供了快速访问和分析Hadoop数据的能力。一经推出,在业界获得了非常高的评价和关注,github.com上Kylin的项目在短短一个月之内就获得了近300的star和100多的fork。很多其他的公司及个人开始贡献到整个Kylin的体系种,SequenceIQ公司已经为Kylin制作了docker容器。为了更好的融入整个Hadoop及开源生态圈,我们已经向Apache提交孵化器项目建议并于2014年11月25日正式被接受为Apache 孵化器项目(Apache Incubator Project)。 本次演讲将介绍Kylin的背景,技术架构,产品功能特性和性能等内容,以及开源现状和发展方向等。将重点讲解Kylin项目中的设计理念和采用的技术,特别是如何优化存储和查询等。
演讲嘉宾:李杨 ech Leader of Kylin at eBay, Apache Kylin PMC Member & Committer
joined eBay, Shanghai in Jan 2014 as a member of Technical Staff and has been a key developer andarchitect of Kylin OLAP Engine. He also leads the Kylin team of engineers in Shanghai, to develop the Kylin roadmap and features to extend the usability across different use cases. Prior to eBay, Yang spent 8 years with IBM and 2 years with Morgan Stanley. At IBM, Yang was focused on core Java library (Apache Harmony), J2EE, and Big Data engineering development. He was the technical lead of IBM User Technologies and won the Outstanding Technical Achievement Award in 2008. During the time with Morgan Stanley, Yang was the VP of Asia Markets team, responsible for the global regulatory reporting architecture, engine development and end-to-end production support infrastructure. Yang received his Master's degree from the School of Computer Science in Shanghai Jiaotong University.
简介:HAWQ是一个支持HDFS的分布式并行SQL数据库引擎,它从 Pivotal卓越的分析型数据库Greenplum DB发展出来,又融合了Hadoop HDFS的优秀的扩展性和便利性。HAWQ原生支持读写HDFS数据格式文件。HAWQ具有世界最好的数据库线性扩展性和性能,比 Impala,Spark,Hive快许多。 它已有许多大型客户,有些客户数据量达到PB级别,500多节点。它的管理和使用仍然与常用的SQL数据库非常相似,因此对用户很便利。 HAWQ 支持完整的SQL2008标准,包括标准中OLAP扩展项。它已经宣布开源。
演讲嘉宾:王伟珣 上海Linux用户组创始成员之一
网名是wormwang,Shanghai Linux User Group创始成员之一。自1996年开始 推广GNU/Linux和各项开源技术。现在在EMC,负责分布式数据库架构及其解决方案架构设计
简介:友盟统计分析平台是国内最大的移动应用统计分析平台,数据是公司核心价值所在。面对呈指数级增长的海量移动数据,采集,存储,整理,分析,每一个过程都面临着很大的挑战。从创业开始,友盟就以各种开源大数据处理系统为杠杆,在数据需求的驱动下,不断演进至今,形成了以HDFS,HBase,Kafka, mongodb为数据存储框架,以Storm, MapReduce为基础数据处理框架,以pig, Hive,Spark为数据分析框架的数据平台基础架构,为移动应用统计分析业务提供了稳定有效的支撑。本次主要就友盟在这些开源大数据系统实战过程中积累的经验教训进行分享。
演讲嘉宾:吴磊 友盟公司数据平台架构师
目前在友盟公司任数据平台架构师,主要负责Umeng移动数据分析平台的软件研发和系统架构。拥有10多年的软件开发经验,先后在大型通讯系统,通用搜索引擎以及海量数据分析等领域工作。在基础平台架构和海量数据处理方向有多年的深厚积累,对Hadoop,HBase生态领域相关技术在具体工作中的落地有深刻的实践和体会。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69946831/viewspace-3146217/ ,如需转载,请注明出处,否则将追究法律责任。