ITPub博客

在数据时代，不少企业学会以数据驱动决策。但是，谈及实践，不少企业又犯了难：如何从海量数据中选择对业务增长有价值的部分?如何清洗并分析数据以驱动决策?如何不让庞大的数据降低整体计算性能?这些问题或许都可以在第七届TOP100全球软件案例研究峰会(简称TOP100summit)的【数据平台】专场找到答案。

摘要：转眼间，2018年已接近尾声。这一年，我们感受到了大数据的稳步增长，见证了人工智能的快速发展，经历了区块链的大起大落。在我们低头努力赶路的时候，我们似乎忘记了思考，借鉴与交流。正所谓“他山之石 ，可以攻玉”，多看、多听行业优秀实践案例可以避免重复或走弯路。细细盘点，这一年最值得我们学习和探究的行业TOP案例有哪些呢?

小米有众多的智能终端和设备，数据规模非常大，对于数据采集和大数据集成提出了非常高的要求。此次演讲主要介绍小米大数据集成解决方案，主要包括小米数据流平台的架构演化，整个链路的数据质量监控，数据流生态的构建思路，最后会介绍典型的应用场景、未来的规划和思考。

之前，大多数公司大数据的数仓都是构建在Hive上的，数据开发的ETL任务以及用户对于数据的即时查询主要使用的工具也是Hive，随着Spark以及其社区的不断发展，Spark及Spark SQL本身技术的不断成熟，Spark在技术架构和性能上都展示出Hive无法比拟的优势，如何使用Spark构建大数据的数仓?如何将现有的数仓平台从Hive转到Spark上?

我们经常谈论起“实时”这个词儿，比如实时收集、实时计算、实时展示，同时，我们也知道大多数企业的应用程序所谓的可提供实时响应，通常意味着延迟在一到两秒钟，甚至更少，这对于人类的感知而言是无关紧要的。然而，在某些场景下，响应时间上的任何延迟都将是灾难性的，最好的示例就是自动驾驶汽车，自动驾驶汽车背后的系统需要接收大量数据，并能够立即根据这些信息做出决策，几毫秒的延迟可能就是生与死之间的差异。

字节跳动公司的今日头条、抖音短视频、火山小视频、西瓜视频等一系列产品，在最近几年内数据量一直呈现出爆炸性增长趋势，数据基础架构部门在离线计算、流式计算等多个方向上遭遇到了一系列前所未有的挑战。本次演讲主要介绍从0到4万+计算结点的YARN集群管理，以及在调度优化、流式作业支持等多个方面的经验分享。

谷歌云现任首席执行官Diane Greene已于近日辞职，前甲骨文ORCL的高层管理人员之一Thomas Kurian将于本月晚些时候到谷歌云业务部门报道.....

短短一周，Facebook事件持续发酵，长时间占据着外媒网站的头版头条，诸如“Facebook时代终结”、“近一半年轻用户删除Facebook应用”、“扎克·伯格与媒体开怼”、“Facebook前安全执行官爆料大选真相”......一水的负面报道真有点墙倒众人推的意思。截至本周一收盘，Facebook的股价下跌近5%，创下了自2017年2月份以来的最低水平，有望打破最长月度连跌记录。

2014年快狗打车服务上线，2015年10月份快狗打车的企业服务板块上线，2016年平台日订单突破20万，2017年与海外同城物流平台GOGOVAN达成合作，建立覆盖中国及东南亚地区的同城货运平台，现阶段已有超300驻点城市，百万注册司机，服务货运用户超亿次。

在最近几周由调研机构和分析师出具的2019年关于亚太地区的技术预测中，越来越多的企业开始成为数字化组织，IDC在报告中表明，随着人工智能、云计算和敏捷开发的落地，企业数字化转型脚步将逐渐加快。IDC亚太区集团副总裁Sandra Ng指出，到2020年，该地区至少有55%的企业将通过数字化方式确定新的商业模式和数字服务将如何改变市场，数字化决策的企业能够更好得展示规划和运行数字化转型的能力。

AWS在全球云计算市场占据40%的市场份额，并且其还有很多周边产品帮助用户快速将数据上云，AWS的数据快递盒子Snowball就是最好的示例。2015年，AWS最早推出Snowball时的时候，主要是用来快递数据的，将大量数据从客户自己的数据中心批量传输到AWS。下单之后，Snowball就被快递到了用户家门口，用户把它接入本地网络导入数据，然后把数据快递回AWS的云数据中心，然后大量数据就快速上云了。

对于希望充分利用数据的企业而言，数据人才的需求仍然很高，DevOps工程师、Python程序员、数据工程师和机器学习工程师已经成为企业的核心。本文，我们列出了IT专业人员在人才竞争中必须具备的十大关键技能。虽然需要大量的技能，但实际情况是IT环境经常发生变化，技术不断受到新技术、复杂问题或动态角色的挑战。虽然新技术和工具在人工智能和分析领域不断涌现，但开发人员必须对这些工具有广泛的了解。

第十个双11已圆满结束，但是技术的探索永不止步。阿里技术推出《十年牧码记》系列，邀请参与历年双11备战的核心技术大牛，一起回顾阿里技术的变迁。每年双11，不仅仅是剁手族的狂欢节，更是数据人的“大考”，是检验计算平台各技术团队技术水平与技术创新实践的舞台。今天，阿里资深运维专家大舞为大家详细解读阿里巴巴大数据十年的五大历程。

分布式数据库DDB是网易研发最早的分布式系统，过去十几年来一直为网易各大互联网产品提供稳定透明的分库分表服务，四年前我们推出了私有云DDB，为开发和运维人员在使用DDB和弹性伸缩上提供了极大便利。

Hadoop是一种基于Java的编程结构，用于在分布式计算环境中处理和存储大型数据集。Hadoop是一种分布式处理技术，可提供强大的数据存储能力，并处理数千TB的数据并在节点之间快速传输。Hadoop广泛用于大数据分析领域，包括科学分析，业务系统开发以及数据处理。

大约在两年前，开源数据库解决方案MongoDB以及Hadoop曾遭受过大量恶意攻击，这些攻击后被统称为“勒索软件”，因为其攻击者会擦除或加密数据，然后向被攻击者索要资金以恢复数据。自今年以来，不少恶意软件开始频繁向Hadoop服务器下手，受影响最大的莫过于那些连接到互联网且没有启用安全防护的Hadoop集群。

在前一篇文章中，我们介绍了map端Join操作的几大方法。一般情况下，我会推荐企业选择map端的Join操作，这可以节省不小的成本。但是，如果数据集过于庞大以至于没有合适的map端连接方法适用，则需要使用MapReduce中的shuffle对数据进行排序和连接，并考虑选择Reduce端的Join操作。

摘要：微软，IBM，Salesforce和谷歌等全球主要IT企业今年已花费数十亿美元扩展云服务行业。

在《Hadoop从入门到精通》大型专题的上半部分，我们了解了Hadoop的基本原理并且知道如何在Hadoop中更好得组织、移动和存储数据，接下来，我们将探讨如何简化企业大数据技术。本章主要研究大数据模式，针对优化MapReduce操作技术，例如对大型数据集进行连接和排序，这些技术将让任务运行更快，并允许更有效地使用计算资源。

多年之前，大部分人对于前端工程师的工作有着很大误解，以为不过是简单的做一些HTML和CSS的工作，偶尔充当一下设计师即可，现在也不排除有如此想法的人。近两年，随着前端架构的迅猛发展，前端工程师这一岗位才逐渐被正确认知。身为一名前端工程师，在企业架构升级的前、中、后期需要注意哪些因素?累计服务客户超过2000个，十年媒体技术和服务经验的苏宁视频云前端架构经历了什么样的演变?前端开发工程师的日常又是什么样的呢?