上汽集团数据湖：实时工业大数据产品实践

演讲简介：

立足于汽车制造与服务为代表的制造行业，服务于车联网与工业大数据相融合的应用场景，采用开源软件架构，自研发实时大数据集成平台。降低企业使用大数据技术的成本，为数据分析师、业务分析师提供更高效易用的工具，加速数据应用的建设和推广，并提供全字段金融等级3DES加密，自动无感知的密钥更新，防止密钥泄露。单元格级别权限控制和数据脱敏访问。

侯松 上汽集团 大数据架构师

嘉宾介绍：

资深大数据架构师、Oracle ACE、PMP、北美寿险管理师，《高并发Oracle数据库系统的架构与设计》作者，ACOUG社区、PG社区核心成员。现就职于上海汽车集团股份有限公司，负责大数据中心数据服务、智能引擎、实时计算平台的研发，产品化及推广。所负责的上汽数据湖产品，已在上汽集团旗下多家企业实施，用以车联网应用的落地。微信公众号：madaiba，个人网站：http://www.housong.net

网易游戏统一数据流平台架构与实践

演讲简介：

内容： 1. 网易游戏的数据业务特点和数据流的挑战 2. 数据流采集架构和实践 （1）. 数据流平台架构 （2）. 服务器日志采集的设计与实现 （3）. 客户端数据提交入口设计 （4）. 后续迭代计划 3. 基于数据流支撑的业务介绍 （1）. 游戏数据集成 （2）. 程序/运维类日志归集与应用 （3）. 通用数据处理和转换 4. 总结展望 技术点：日志归集、数据集成、数据流平台、golang、高并发、性能优化 面向人群：大数据平台设计和开发人员

洪增林 网易游戏 资深开发工程师

嘉宾介绍：

网易游戏数据中心开发负责人，专注于统一数据流建设、大数据作业平台设计开发和大数据组件优化等工作。

Spark SQL在携程的实践

演讲简介：

之前，大多数公司大数据的数仓都是构建在Hive上的，数据开发的ETL任务以及用户对于数据的即时查询主要使用的工具还是Hive，随着Spark以及其社区的不断发展，Spark及Spark SQL本身技术的不断成熟，Spark在技术架构和性能上都展示出Hive无法比拟的优势，如何使用Spark构建大数据的数仓？如何将现有的数仓平台从Hive转到Spark上？这些问题都是每家公司需要考虑的问题；携程原先的数仓也是构建在Hive之上的，每天运行超过20000个Hive的定时任务，从2017年9月份开始，我们正式启动了SparkSQL落地的一系列项目，到目前为止，大部分的ETL作业和用户的临时查询已经使用了SparkSQL；在这个演讲中，我将分享下我们在这段时间中的做法，实践和思考，我们遇到问题，以及我们的解决方案。

张翼 携程 大数据平台技术总监

嘉宾介绍：

10年的互联网老兵；2015年3月加入携程，携程的大数据平台技术总监，带领团队构建起稳定，高效的数据平台和系统，为携程数据的飞速发展贡献了自己的力量；加入携程之前，在大众点评负责数据基础架构，从0开始组建团队，搭建起点评的数据分析平台；平时关注与大数据及AI系统的发展，致力于将开源技术和公司场景相结合，创造业务价值。

eBay推荐广告中的实时和离线大数据平台

演讲简介：

eBay有超过4亿用户（其中1.6亿活跃）和超过10亿的售卖商品在eBay页面上。平均每秒钟有几千次的商品页面点击。我们的实时和离线大数据平台处理包括卖家，商品， 运输等在内的几百张表，有些表的大小超过几十TB。每个商品包括200多个各种属性，在facebook， google等平台上进行推荐广告之前，需要将所有商品发送到facebook， google等平台上。 我们基于Hadoop， Spark， Kafka， Cassandra等开源大数据项目建立实时和离线数据处理平台，使用它在海量数据上处理复杂SQL操作。 在这个议题中， 我们介绍所建立的大数据平台的架构，高性能，高容错性，以及如何处理海量数据。

黄毅铭 eBay 资深技术经理

嘉宾介绍：

eBay推荐广告和大数据平台资深技术经理，有10年互联网、大数据的工作经验。所带领的部门负责eBay在社交网络上的推荐广告平台和在视频媒体上的推荐广告平台，同时负责推荐广告的离线和实时大数据平台。平台使用Hadoop, Spark, Kafka, Cassandra/Couchbase 等开源大数据项目。在加入eBay前，在IBM中国从事数据库，Java ,大数据方向的研发。