演讲简介:
线上SQL作业从HIVE引擎迁移到SPARK引擎实践。从部署到语义与功能差异得解决方案。以及spark新特性的应用。
黄伟伦(花名:但丁) 河狸家 数据平台工程师
嘉宾介绍:
河狸家数据平台工程师,主导建设河狸家数据平台建设。擅长利用开源数据组件构建高效,稳定能够应对不同业务需求得自动化数据流转系统。通过合理的领域划分,保证系统各部件可以进行独立的升级替换,持续不断地优化系统整提性能。
演讲简介:
SQL on Hadoop引擎是以HDFS作为存储、以SQL接口提供服务,从而能够有效结合SQL语言的表示和HDFS的多备份存储。Apache HAWQ将MPP并行执行与HDFS多备份存储有机结合,同时支持SQL全标准、事务、PL Language、机器学习算法。本次分享会介绍HAWQ 2.X的最新框架和新功能进行介绍,包括弹性查询执行、动态集群伸缩、与Yarn集成的资源管理、与Ranger集成的用户权限管理,以及对Hive外部数据的访问。
马丽丽 Pivotal 资深产品经理
嘉宾介绍:
2010年7月毕业于中科院计算所,先后在IBM,EMC/Pivotal工作,Apache HAWQ初创团队核心研发成员,现在负责HAWQ产品的管理,包括产品定位和新功能研发。在关系数据库和Hadoop方面研究近10年,涉及方向包括Hadoop/Hive算法优化、云平台上的数据服务、以及分布式数据库的分发调度、存储和权限管理等方面。在国际会议上发表多篇数据库方面学术论文(SIGMOD, GCC, SKG, PDCAT),并拥有多项国际专利。
演讲简介:
报告介绍一个规模超上千个节点Hadoop集群的【硬件规划,软件规划,网络规划,应用规划】设计,综合考虑了集群头节点的高可用设计,元数据的备份恢复设计,读写流量分离,多租户,安全审计设计,集群冗余设,结合应用场景,结构化(文本和数据表)和非结构化数据(影像)的等不同并行处理方式,并探索深度学习和Hadoop分布式融合等规划。
童小军 红象云腾 董事长 CTO
嘉宾介绍:
红象云腾(REDOOP)公司董事长,致力于中国Hadoop大数据基础软件工作,带领研发的红象CRH基础平台已经支持X86,OpenPower,飞腾-ARM多个基础芯片平台,成为覆盖多个芯片和操作系统的大数据平台,带领团队部署的Hadoop集群管理数据最大超PB,行业案例覆盖航天,金融、运营商、互联网、政府、能源等行业,致力于成为独具开放性的大数据平台提供商,带领的红象公司受邀加入OpenPower、ODPI Linux Foundation 两个开源国际组织,为国际大数据软件标准贡献力量。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69946831/viewspace-3155949/ ,如需转载,请注明出处,否则将追究法律责任。