ITPub博客

首页 > > > 2018DTCC大会 专场5 海外企业数据技术 PPT

2018DTCC大会 专场5 海外企业数据技术 PPT

作者:飘絮絮絮丶 时间:2019-12-14 12:56:34 0 删除 编辑

Greenplum 数据库架构分析及CTE(Common Table Expression) 实现

演讲简介:

Greenplum作为基于PostgreSQL内核的MPP架构数据库,自从2015年开源以来,以其出色的性能,良好的扩展能力,完善的功能集合和对SQL各标准的兼容能力,得到广泛的关注。该演讲前半段将和大家一起分享Greenplum的架构和设计理念,同时将会涉及到为实现MPP的计算架构在查询优化器,执行器,事务管理器以及存储层的相关工作。该演讲后半段会和大家分享为了在MPP环境中实现CTE (Common Table Expression) 所带来的挑战和相关工作,其中包括,MPP环境中多个执行器进程对CTE扫描所要求的跨节点数据同步和共享,递归CTE中所带来的Worktable与RecursiveUnion之间的数据motion问题,以及CTE中包含HashJoin时所带来的性能问题等。

杨瑜 Pivotal Senior Principal Software Engineer

嘉宾介绍:

Pivotal 公司资深工程师,长期工作于 Greenplum 内核开发第一线,以及PostgreSQL upstream 的持续移植。


The Evolution of the Data Platform in Grab

演讲简介:

Grab is Southeast Asia (SEA)'s leading transportation platform and our mission is to drive SEA forward. With more than 2 million drivers and 68 million app downloads, the Grab app has become a platform with one of the highest usage and transaction rates for the 620 million people in SEA—and is growing every day—giving the company an incredible opportunity to perfect the way it uses data to make lives easier across SEA. In general,I will talk about Grab’s data architecture and offer a history of its data platform migration and stream-processing apps, and describe some of the challenges the company has faced in getting its back-office applications to scale and what it’s done to meet demand. I will also explore its history of architecture traces, from Redshift to EMR(Presto+Spark) + S3. Additionally, I will be also sharing our lessons learned along the way by running Presto in the Cloud, and take you step by step through the process and share the mistakes we made and key learns. Also how we overcame some tough obstacles.

Cheng Feng Grab Data Engineer

嘉宾介绍:

Cheng Feng is a data engineer at Grab,where he works on the big data platform,distributed computing,stream processing,and data science. Previously, he was a data scientist at the Lazada Group, working on Lazada’s tracker, customer segmentation and recommendation systems, and fraud detection.


eBay付费搜索(Google)广告和实验平台

演讲简介:

eBay有超过4亿用户(其中1.6亿活跃)和超过10亿的售卖商品在eBay页面上。在搜索平台(google)上的广告对我们的业务很重要,在Google上我们主要做Text Ads和Product List Ads。 我们搭建了高灵活性的广告和A/B测试试验平台,基于Hadoop, Spark, Kafka等开源大数据技术。这个平台提供自服务和提供很好的灵活性,数据科学家和工程师可以创建自定义流程和运行不同的机器学习模型,例如grouping和bidding模型。平台支持离线和实时的Job。 在A/B测试试验平台上,我们可以很容易的定义测试组,每个测试组有自己的输入和机器学习模型。在我们的A/B测试试验平台上,可以通过tracking系统的结果很容易的知道哪个模型是最好的。 在这个议题中,我们将介绍付费搜索(Google)广告和实验平台的架构和工作流程。

刘思中 eBay 资深技术经理

嘉宾介绍:

eBay付费搜索广告,市场数据平台和A/B测试试验平台的资深经理。他在eBay工作7年,在加入eBay之前在IBM工作3年。

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69946831/viewspace-3164987/ ,如需转载,请注明出处,否则将追究法律责任。

下一篇: 16.1 配置复制
请登录后发表评论 登录
全部评论

注册时间:2019-09-09

  • 博文量
    2646
  • 访问量
    42242