ITPub博客

首页 > > > 2017DTCC大会 专场21 开源技术 PPT

2017DTCC大会 专场21 开源技术 PPT

作者:飘絮絮絮丶 时间:2019-12-14 15:25:35 0 删除 编辑

Apache Griffin-分布式系统的数据质量方案

演讲简介:

在大数据、云计算、流式计算为基础的分布式环境下,数据本身的质量问题越发重要。Apache Griffin 项目是eBay发起并贡献给Apache社区的数据质量方案。它试图提供一套可扩展,可伸缩的框架来解决数据质量的几个典型问题:如数据的精确性问题、一致性问题、合法性问题、时效性问题、唯一性问题,以及完整性问题。本次主题主要讲解面临streaming和batch的企业数据环境, Apache Griffin是如何通过提供一整套的流程来定义,测量并汇报数据质量, 以试图解决数据质量问题。同时介绍架构设计, 核心组件的设计与考量等等。最后会通过自助服务来阐述Apache Griffin在eBay 1.2PB的数据环境下的应用场景及流程.

郭跃鹏 eBay资深主任工程师

嘉宾介绍:

eBay 资深主任工程师,Apache Griffin 项目的发起者和committer。有超过15年的数据服务行业经验,曾就职于华为,目前在eBay大数据服务部门,专注于大数据平台上提供稳定及时有效的数据服务应用架构设计和开发。

gStore—一种开源图数据库系统及其在企业中的应用

演讲简介:

近年来,“知识图谱”成为学术界和工业界共同关心的一个热点研究领域;各种围绕着知识图谱的研究工作和相关系统层出不穷;以知识图谱为“噱头”的创业热潮也是方兴未艾。本次报告关注知识图谱数据管理的存储和查询问题,介绍并演示北京大学计算机科学技术研究所数据库团队所研发的基于图数据库理论的开源RDF知识图谱数据的存储和查询系统gStore。目前gStore系统可以支持SPARQL 1.1标准,提供了集中式和分布式两种部署方式,在十亿规模的Benchmark数据集测试上,平均性能优于目前的Virtuoso和Apache Jena等国外同类产品。本次报告,还将阐述gStore系统在方正电子的知识出版项目、狗尾草公司的聊天机器人项目和中科院微生物所的国际微生物数据中心微生物知识图谱项目中的具体应用案例。

邹磊 北京大学计算机科学技术研究所 副教授

嘉宾介绍:

北京大学计算机科学技术研究所,副教授;国家自然科学基金优秀青年基金项目获得者。邹磊分别于2003年和2009年毕业于华中科技大学计算机科学与技术学院,获得工学学士和工学博士学位;其博士学位论文获得2009年中国计算机学会优秀博士学位论文提名奖和湖北省优秀博士论文奖。2009年9月加入北京大学计算机科学技术研究所,任讲师;并于2012年8月晋升副教授。他目前的研究领域包括图数据库,RDF知识图谱,尤其是基于图的RDF数据管理。目前他已经发表了30余篇国内外学术论文,包括CCF-A类的数据库领域国际顶级期刊/会议论文(SIGMOD,VLDB等)16篇;其论文被引用超过1200多次(根据Google Scholar的统计),单篇最高被引用260余次。邹磊承担了包括国家自然基金、国家重点研发项目等多项国家科研攻关项目;其研究也到了包括微软、腾讯和方正电子等产业界公司的资助。

Stronger Consistency Simplified with Apache DistributedLog

演讲简介:

Apache DistributedLog (incubating) 是Twitter开源的低延时,高吞吐的复制日志服务。它已经在Twitter生产线上运行了4年多,用于支持多种分布式服务。比如分布式key/value存储,消息发布订阅平台等。整个平台每天传递1.5 trillion的记录,合15PB数据/天。Sijie Guo将分享Twitter如何使用DistributedLog在Twitter的Key/Value存储系统Manhattan上实现强一致性操作。本演讲包括: Apache DistributedLog的简介 Twitter如何在Manhattan中使用DistributedLog实现强一致性 Twitter如何使用DistributedLog实现数据的跨机房复制 DistributedLog的一些生产经验

郭斯杰 Twitter 消息组技术主管

嘉宾介绍:

Twitter消息组的技术主管。同时,他也是Apache DistributedLog的联合创始人,Apache BookKeeper的PMC Chair。

新的里程碑--PostgreSQL 10.0 新特性介绍

演讲简介:

经过二十多年的持续发展,PostgreSQL即将迎来一个里程碑式的新版本—10.0。PostgreSQL 10.0不仅仅是在版本号方面采用了新的编码方式,也迎来了更多新的特性和功能。本次分享将会介绍PostgreSQL 10.0 为我们带来的新特性以及更进一步的路线图。

彭煜玮 武汉大学 副教授

嘉宾介绍:

长期从事数据库、地理信息系统的教学和研究。主持自然科学基金、国家863项目子课题等项目,参与包括国家863项目、自然科学基金重点项目等科研项目,作为技术负责人领导开发了国产对象代理数据管理系统TOTEM。著有《PostgreSQL数据库内核分析》一书,是PostgreSQL消息本地化和文档中文化工作的主要贡献者之一。现任中国计算机学会数据库专业委员会委员、PostgreSQL中国用户协会常务委员。

开源 MPP 数据库的不二之选: Greenplum 5.0

演讲简介:

本报告主要介绍Greenplum 数据库开源后第一个稳定版本5.0的主要特性, 包括PostgreSQL 新版本合并,异步调度器,优化器增强,基于云的外部表支持,Extension 支持,JSON, 全文检索等. 还会介绍Greenplum 生态系统中相关产品,包括空间地理数据库组件PostGIS,统计分析和数据挖掘算法库Madlib,Greenplum和Gemfire 连接器G2C,基于规则的资源监控和管理器WLM 等的最新进展。报告也会介绍5.0后的一些主要计划, 包括持续PostgreSQL 合并,更稳定灵活的资源管理器,重新设计的备份恢复,本地(in-place)升级,新的数据同步机制,增量备份等。此外还会介绍Greenplum开源社区的发展状况, 特别是中国社区的发展。报告面向人群为对MPP数据库特别是Greenplum数据库感兴趣的管理员、开发人员、数据分析师、数据科学家、数据仓库设计人员和数据库研究人员等。

姚延栋 Pivotal 研发总监

嘉宾介绍:

Greenplum 中国开源社区发起人, Pivotal 公司研发总监, Greenplum 和 HAWQ 研发负责人. 加入 Greenplum/Pivotal之前, 曾在Sun Microsystem 与 Symantec 系统和存储部门工作多年. 他于 2005年毕业于中科院软件所, 拥有多项国内外专利。

MySQL核心参数含义的源码解析

演讲简介:

作为数据库的运维人员,一般都会对MySQL数据库的各种核心参数有一定的了解,也大致知道其对性能影响,但没有研究过内核的朋友很难,完全真正理解这些参数在数据库内部是如何使用的?相关的代码逻辑是什么?相关参数到底设置多大才跟当前的环境完全适配,才能最大程度的发挥当前环境的性能。本次课题分享将从源码层面解析mysql的核心参数,希望能让对这方面感兴趣的朋友对mysql核心参数的意义跟作用有更直观的了解。

徐春阳 民生银行 项目经理

嘉宾介绍:

曾工作轨迹于阿里,人民搜索,京东商城。目前就职于民生银行,从事开源数据库MySQL相关工作。个人技术博客;个人公众号账号MysqlPg。

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69946831/viewspace-3132334/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2019-09-09

  • 博文量
    2646
  • 访问量
    42244