ITPub博客

携程酒店每天有上千表，累计十多亿数据更新，如何保证数据更新过程中生产应用高可用，每天有将近百万次数据查询请求，用户可以从粗粒度国家省份城市汇总不断下钻到酒店，房型粒度的数据，我们往往无法对海量的明细数据做进一步层次的预聚合，大量的关键业务数据都是好几亿数据关联权限，关联基础信息，根据用户场景获取不同维度的汇总数据；

6月6日晚，林志玲与Akira公布婚讯、徐蔡坤祝福高考同学超常发挥，粉丝们百万的转发和点赞造成微博短暂宕机。分布式数据库和分布式存储是分布式系统中难度最大、挑战最大，也是最容易出问题的地方。互联网公司只有解决分布式数据存储的问题，才能支撑更多次亿级用户的涌入。

​从互联网、移动互联网到物联网，数据量之巨大已突破想象边界。与此同时，实时数据分析的需求日益增长，那么，当数据量达到亿级、百亿级甚至万亿级规模，实时数据分析如何来做？尤其在To B/G来说，大多数企业和政府客户区别于互联网企业，自身不具备技术团队，缺乏技术运维能力，因此在搭建本地化万亿级大数据平台时，如何交付更为标准化、透明化设计的产品成为最大挑战。

如今，许多企业正在利用模型、数据分析、数据可视化和仪表板等措施实现数据驱动。例如商业领袖注重提升客户体验，技术领导者注重分析速度和网站指标，应用程序团队在其应用程序中嵌入分析程序等等。这意味着更多的开发人员、分析师、工程师和管理者将参与开发数据可视化和仪表板。由于许多企业采用自助式BI工具(如Tableau和Microsoft Power BI)，因此有些时候您需要开发仪表盘，或者被要求将其作为优

尽管数据湖有很大的前景，但由于缺乏治理能力和较为成功的先例，近年来，数据湖收到了很多负面评论。企业管理者和技术人员一直期待着数据湖能为企业创造更大价值，但结果却令人失望。但是随着云计算的可用性越来越高，存储巨量数据就像创建数据湖一样容易。然而，最根本的挑战是:如何运用数据湖分析更多的数据来做出业务决策?技术的复杂性不再是障碍，但企业仍然需要避免一些非技术性的常见错误。以下是企业相关专家和业务人员可

2018年12月15日-16日，2018 PostgreSQL中国技术大会在浙江吉利控股集团有限公司正式开幕。大会由中国PostgreSQL用户会主办，云集了国内各界的PostgreSQL技术专家，笔者有幸在大会现场采访到了Pivotal的多位技术专家。

只看当下，一家企业或许很容易找到一条生存之路。如果看未来，一家企业希望3年后、5年后甚至10年后都有生意可做，要怎么选呢?如果既希望有生意可做，又希望做得好并在行业内达到一定高度，又应该将精力投向何处呢?近日，百分点正式宣布完成由中央企业发起设立的市场化基金领投的5亿人民币E轮融资，从现在式和未来式两大视角来看，百分点为什么能拿到这笔钱?又会将这笔钱砸向何处呢?

在数据时代，不少企业学会以数据驱动决策。但是，谈及实践，不少企业又犯了难：如何从海量数据中选择对业务增长有价值的部分?如何清洗并分析数据以驱动决策?如何不让庞大的数据降低整体计算性能?这些问题或许都可以在第七届TOP100全球软件案例研究峰会(简称TOP100summit)的【数据平台】专场找到答案。

摘要：转眼间，2018年已接近尾声。这一年，我们感受到了大数据的稳步增长，见证了人工智能的快速发展，经历了区块链的大起大落。在我们低头努力赶路的时候，我们似乎忘记了思考，借鉴与交流。正所谓“他山之石 ，可以攻玉”，多看、多听行业优秀实践案例可以避免重复或走弯路。细细盘点，这一年最值得我们学习和探究的行业TOP案例有哪些呢?

小米有众多的智能终端和设备，数据规模非常大，对于数据采集和大数据集成提出了非常高的要求。此次演讲主要介绍小米大数据集成解决方案，主要包括小米数据流平台的架构演化，整个链路的数据质量监控，数据流生态的构建思路，最后会介绍典型的应用场景、未来的规划和思考。

之前，大多数公司大数据的数仓都是构建在Hive上的，数据开发的ETL任务以及用户对于数据的即时查询主要使用的工具也是Hive，随着Spark以及其社区的不断发展，Spark及Spark SQL本身技术的不断成熟，Spark在技术架构和性能上都展示出Hive无法比拟的优势，如何使用Spark构建大数据的数仓?如何将现有的数仓平台从Hive转到Spark上?

我们经常谈论起“实时”这个词儿，比如实时收集、实时计算、实时展示，同时，我们也知道大多数企业的应用程序所谓的可提供实时响应，通常意味着延迟在一到两秒钟，甚至更少，这对于人类的感知而言是无关紧要的。然而，在某些场景下，响应时间上的任何延迟都将是灾难性的，最好的示例就是自动驾驶汽车，自动驾驶汽车背后的系统需要接收大量数据，并能够立即根据这些信息做出决策，几毫秒的延迟可能就是生与死之间的差异。

字节跳动公司的今日头条、抖音短视频、火山小视频、西瓜视频等一系列产品，在最近几年内数据量一直呈现出爆炸性增长趋势，数据基础架构部门在离线计算、流式计算等多个方向上遭遇到了一系列前所未有的挑战。本次演讲主要介绍从0到4万+计算结点的YARN集群管理，以及在调度优化、流式作业支持等多个方面的经验分享。

谷歌云现任首席执行官Diane Greene已于近日辞职，前甲骨文ORCL的高层管理人员之一Thomas Kurian将于本月晚些时候到谷歌云业务部门报道.....

短短一周，Facebook事件持续发酵，长时间占据着外媒网站的头版头条，诸如“Facebook时代终结”、“近一半年轻用户删除Facebook应用”、“扎克·伯格与媒体开怼”、“Facebook前安全执行官爆料大选真相”......一水的负面报道真有点墙倒众人推的意思。截至本周一收盘，Facebook的股价下跌近5%，创下了自2017年2月份以来的最低水平，有望打破最长月度连跌记录。

2014年快狗打车服务上线，2015年10月份快狗打车的企业服务板块上线，2016年平台日订单突破20万，2017年与海外同城物流平台GOGOVAN达成合作，建立覆盖中国及东南亚地区的同城货运平台，现阶段已有超300驻点城市，百万注册司机，服务货运用户超亿次。

在最近几周由调研机构和分析师出具的2019年关于亚太地区的技术预测中，越来越多的企业开始成为数字化组织，IDC在报告中表明，随着人工智能、云计算和敏捷开发的落地，企业数字化转型脚步将逐渐加快。IDC亚太区集团副总裁Sandra Ng指出，到2020年，该地区至少有55%的企业将通过数字化方式确定新的商业模式和数字服务将如何改变市场，数字化决策的企业能够更好得展示规划和运行数字化转型的能力。

AWS在全球云计算市场占据40%的市场份额，并且其还有很多周边产品帮助用户快速将数据上云，AWS的数据快递盒子Snowball就是最好的示例。2015年，AWS最早推出Snowball时的时候，主要是用来快递数据的，将大量数据从客户自己的数据中心批量传输到AWS。下单之后，Snowball就被快递到了用户家门口，用户把它接入本地网络导入数据，然后把数据快递回AWS的云数据中心，然后大量数据就快速上云了。

对于希望充分利用数据的企业而言，数据人才的需求仍然很高，DevOps工程师、Python程序员、数据工程师和机器学习工程师已经成为企业的核心。本文，我们列出了IT专业人员在人才竞争中必须具备的十大关键技能。虽然需要大量的技能，但实际情况是IT环境经常发生变化，技术不断受到新技术、复杂问题或动态角色的挑战。虽然新技术和工具在人工智能和分析领域不断涌现，但开发人员必须对这些工具有广泛的了解。

第十个双11已圆满结束，但是技术的探索永不止步。阿里技术推出《十年牧码记》系列，邀请参与历年双11备战的核心技术大牛，一起回顾阿里技术的变迁。每年双11，不仅仅是剁手族的狂欢节，更是数据人的“大考”，是检验计算平台各技术团队技术水平与技术创新实践的舞台。今天，阿里资深运维专家大舞为大家详细解读阿里巴巴大数据十年的五大历程。