ITPub博客

在最近几周由调研机构和分析师出具的2019年关于亚太地区的技术预测中，越来越多的企业开始成为数字化组织，IDC在报告中表明，随着人工智能、云计算和敏捷开发的落地，企业数字化转型脚步将逐渐加快。IDC亚太区集团副总裁Sandra Ng指出，到2020年，该地区至少有55%的企业将通过数字化方式确定新的商业模式和数字服务将如何改变市场，数字化决策的企业能够更好得展示规划和运行数字化转型的能力。

AWS在全球云计算市场占据40%的市场份额，并且其还有很多周边产品帮助用户快速将数据上云，AWS的数据快递盒子Snowball就是最好的示例。2015年，AWS最早推出Snowball时的时候，主要是用来快递数据的，将大量数据从客户自己的数据中心批量传输到AWS。下单之后，Snowball就被快递到了用户家门口，用户把它接入本地网络导入数据，然后把数据快递回AWS的云数据中心，然后大量数据就快速上云了。

对于希望充分利用数据的企业而言，数据人才的需求仍然很高，DevOps工程师、Python程序员、数据工程师和机器学习工程师已经成为企业的核心。本文，我们列出了IT专业人员在人才竞争中必须具备的十大关键技能。虽然需要大量的技能，但实际情况是IT环境经常发生变化，技术不断受到新技术、复杂问题或动态角色的挑战。虽然新技术和工具在人工智能和分析领域不断涌现，但开发人员必须对这些工具有广泛的了解。

第十个双11已圆满结束，但是技术的探索永不止步。阿里技术推出《十年牧码记》系列，邀请参与历年双11备战的核心技术大牛，一起回顾阿里技术的变迁。每年双11，不仅仅是剁手族的狂欢节，更是数据人的“大考”，是检验计算平台各技术团队技术水平与技术创新实践的舞台。今天，阿里资深运维专家大舞为大家详细解读阿里巴巴大数据十年的五大历程。

分布式数据库DDB是网易研发最早的分布式系统，过去十几年来一直为网易各大互联网产品提供稳定透明的分库分表服务，四年前我们推出了私有云DDB，为开发和运维人员在使用DDB和弹性伸缩上提供了极大便利。

Hadoop是一种基于Java的编程结构，用于在分布式计算环境中处理和存储大型数据集。Hadoop是一种分布式处理技术，可提供强大的数据存储能力，并处理数千TB的数据并在节点之间快速传输。Hadoop广泛用于大数据分析领域，包括科学分析，业务系统开发以及数据处理。

大约在两年前，开源数据库解决方案MongoDB以及Hadoop曾遭受过大量恶意攻击，这些攻击后被统称为“勒索软件”，因为其攻击者会擦除或加密数据，然后向被攻击者索要资金以恢复数据。自今年以来，不少恶意软件开始频繁向Hadoop服务器下手，受影响最大的莫过于那些连接到互联网且没有启用安全防护的Hadoop集群。

在前一篇文章中，我们介绍了map端Join操作的几大方法。一般情况下，我会推荐企业选择map端的Join操作，这可以节省不小的成本。但是，如果数据集过于庞大以至于没有合适的map端连接方法适用，则需要使用MapReduce中的shuffle对数据进行排序和连接，并考虑选择Reduce端的Join操作。

摘要：微软，IBM，Salesforce和谷歌等全球主要IT企业今年已花费数十亿美元扩展云服务行业。

在《Hadoop从入门到精通》大型专题的上半部分，我们了解了Hadoop的基本原理并且知道如何在Hadoop中更好得组织、移动和存储数据，接下来，我们将探讨如何简化企业大数据技术。本章主要研究大数据模式，针对优化MapReduce操作技术，例如对大型数据集进行连接和排序，这些技术将让任务运行更快，并允许更有效地使用计算资源。

多年之前，大部分人对于前端工程师的工作有着很大误解，以为不过是简单的做一些HTML和CSS的工作，偶尔充当一下设计师即可，现在也不排除有如此想法的人。近两年，随着前端架构的迅猛发展，前端工程师这一岗位才逐渐被正确认知。身为一名前端工程师，在企业架构升级的前、中、后期需要注意哪些因素?累计服务客户超过2000个，十年媒体技术和服务经验的苏宁视频云前端架构经历了什么样的演变?前端开发工程师的日常又是什么样的呢?

​一般而言，我们习惯于表述“人工智能”，并不对其概念进行具体细分。人工智能之所以热度居高不下与大众的较高关注度和媒体炒作分不开，而人们往往只关注其表象而忽略了其本质，将机器智能与人类智能混为一谈。近日，香港科技大学教授，国际人工智能协会(AAAI)首位也是至今为止唯一的华人执委杨强教授在「知乎 2018『互联网洞见者』」上发问“机器的智能和人类的智能有什么重要区别?这些区别对于我们培养后代有什么启示?”

数据库通常是Hadoop数据输出目标之一：将数据移回生产数据库以供生产系统使用，或者将数据移动到OLAP数据库以执行商业智能和分析功能。

摘要：性能超越 GPU 4 倍，超 CPU 90 倍，并可针对不同工作负载提供前所未有的灵活应变能力根据维基百科的定义，数据中心是一整套复杂的设施，不仅包括计算机系统和其它与之配套的设备(例如通信和存储系统)，还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置”。数据爆炸，人工智能兴起，摩尔定律放缓，大大颠覆了原有市场和业务，早在今年3月，赛灵思总裁及CEO Victor Peng来

到目前为止，我们已经看到了从HDFS复制数据的不同选项。大多数机制没有自动化或调度功能，最终是用于访问数据的低级方法。如果希望自动化数据副本，可以将其中一种低级技术包含在调度引擎(如cron或Quartz)中。 但是，如果正在寻找开箱即用的自动化，那么本节很适合。

近日，数据智能技术供应商Teradata天睿公司委托独立科技市场调研公司Vanson Bourne面向全球企业高级管理人员开展调研。结果显示，企业在各部门全面使用智能化技术的进程严重受阻。目前，企业不再局限于部署更多分析技术，而是面向未来，转而积极布局智能化技术，但企业分析技术存在复杂性、技术瓶颈、不确定性等问题，使业务与IT决策者越来越失意。

在本篇文章中，你将找到如何在CentOS7.4上通过Keepalive实现Tomcat 7的高可用。文章将以实例的形式来阐述，包括架构的搭建，软件的配置，实现的方法都体现出来，力求详尽。这对加强重要应用服务的高可用及安全具有一定的参考价值。

十余年来，企业架构经过了数次迭代和变迁，ITPUB是这一切的重要见证者，同样陪伴了无数架构师的成长。10月17日，第十届中国系统架构师大会以“十年架构，成长之路”为主题，云集了国内CTO、研发总监、高级系统架构师、开发工程师和IT经理等技术人群，与会规模超千人。本届大会特设四大主线，其中，主线二为基于大数据平台的应用实践，数位技术专家倾囊相授，SACC十年磨砺，涅槃起航!

十余年来，企业架构经过了数次迭代和变迁，ITPUB是这一切的重要见证者，同样陪伴了无数架构师的成长。10月17日，第十届中国系统架构师大会以“十年架构，成长之路”为主题，云集了国内CTO、研发总监、高级系统架构师、开发工程师和IT经理等技术人群，与会规模超千人。本届大会特设四大主线，其中，主线二为基于大数据平台的应用实践，数位技术专家倾囊相授，SACC十年磨砺，涅槃起航!

在之前的几个章节，我们已经掌握了如何将数据从其他系统导入Hadoop。一旦企业使用Hadoop执行某些关键功能，无论是数据挖掘还是数据聚合，下一步通常是将该数据外部化到其他系统。例如，通常依靠Hadoop对从实时系统中提取的数据执行离线聚合，然后将派生数据反馈到实时系统中。