ITPub博客

在《Hadoop从入门到精通》大型专题的上半部分，我们了解了Hadoop的基本原理并且知道如何在Hadoop中更好得组织、移动和存储数据，接下来，我们将探讨如何简化企业大数据技术。本章主要研究大数据模式，针对优化MapReduce操作技术，例如对大型数据集进行连接和排序，这些技术将让任务运行更快，并允许更有效地使用计算资源。

多年之前，大部分人对于前端工程师的工作有着很大误解，以为不过是简单的做一些HTML和CSS的工作，偶尔充当一下设计师即可，现在也不排除有如此想法的人。近两年，随着前端架构的迅猛发展，前端工程师这一岗位才逐渐被正确认知。身为一名前端工程师，在企业架构升级的前、中、后期需要注意哪些因素?累计服务客户超过2000个，十年媒体技术和服务经验的苏宁视频云前端架构经历了什么样的演变?前端开发工程师的日常又是什么样的呢?

​一般而言，我们习惯于表述“人工智能”，并不对其概念进行具体细分。人工智能之所以热度居高不下与大众的较高关注度和媒体炒作分不开，而人们往往只关注其表象而忽略了其本质，将机器智能与人类智能混为一谈。近日，香港科技大学教授，国际人工智能协会(AAAI)首位也是至今为止唯一的华人执委杨强教授在「知乎 2018『互联网洞见者』」上发问“机器的智能和人类的智能有什么重要区别?这些区别对于我们培养后代有什么启示?”

数据库通常是Hadoop数据输出目标之一：将数据移回生产数据库以供生产系统使用，或者将数据移动到OLAP数据库以执行商业智能和分析功能。

摘要：性能超越 GPU 4 倍，超 CPU 90 倍，并可针对不同工作负载提供前所未有的灵活应变能力根据维基百科的定义，数据中心是一整套复杂的设施，不仅包括计算机系统和其它与之配套的设备(例如通信和存储系统)，还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置”。数据爆炸，人工智能兴起，摩尔定律放缓，大大颠覆了原有市场和业务，早在今年3月，赛灵思总裁及CEO Victor Peng来

到目前为止，我们已经看到了从HDFS复制数据的不同选项。大多数机制没有自动化或调度功能，最终是用于访问数据的低级方法。如果希望自动化数据副本，可以将其中一种低级技术包含在调度引擎(如cron或Quartz)中。 但是，如果正在寻找开箱即用的自动化，那么本节很适合。

近日，数据智能技术供应商Teradata天睿公司委托独立科技市场调研公司Vanson Bourne面向全球企业高级管理人员开展调研。结果显示，企业在各部门全面使用智能化技术的进程严重受阻。目前，企业不再局限于部署更多分析技术，而是面向未来，转而积极布局智能化技术，但企业分析技术存在复杂性、技术瓶颈、不确定性等问题，使业务与IT决策者越来越失意。

在本篇文章中，你将找到如何在CentOS7.4上通过Keepalive实现Tomcat 7的高可用。文章将以实例的形式来阐述，包括架构的搭建，软件的配置，实现的方法都体现出来，力求详尽。这对加强重要应用服务的高可用及安全具有一定的参考价值。

十余年来，企业架构经过了数次迭代和变迁，ITPUB是这一切的重要见证者，同样陪伴了无数架构师的成长。10月17日，第十届中国系统架构师大会以“十年架构，成长之路”为主题，云集了国内CTO、研发总监、高级系统架构师、开发工程师和IT经理等技术人群，与会规模超千人。本届大会特设四大主线，其中，主线二为基于大数据平台的应用实践，数位技术专家倾囊相授，SACC十年磨砺，涅槃起航!

十余年来，企业架构经过了数次迭代和变迁，ITPUB是这一切的重要见证者，同样陪伴了无数架构师的成长。10月17日，第十届中国系统架构师大会以“十年架构，成长之路”为主题，云集了国内CTO、研发总监、高级系统架构师、开发工程师和IT经理等技术人群，与会规模超千人。本届大会特设四大主线，其中，主线二为基于大数据平台的应用实践，数位技术专家倾囊相授，SACC十年磨砺，涅槃起航!

在之前的几个章节，我们已经掌握了如何将数据从其他系统导入Hadoop。一旦企业使用Hadoop执行某些关键功能，无论是数据挖掘还是数据聚合，下一步通常是将该数据外部化到其他系统。例如，通常依靠Hadoop对从实时系统中提取的数据执行离线聚合，然后将派生数据反馈到实时系统中。

Kafka是一个分布式发布 - 订阅系统，由于其强大的分布式和性能特性，它正在迅速成为我们数据管道的关键部分。 它可用于许多功能，例如消息传递，指标收集，流处理和日志聚合。Kafka的另一个有效用途是将数据移入Hadoop。

我们最终目标是将数据移入Hadoop，涉及到了HBase。HBase是一种实时的分布式数据存储系统，通常位于与Hadoop集群相同的硬件上，或者与Hadoop集群紧密相连。能够直接在MapReduce中使用HBase数据，或将其推入HDFS，是选择HBase作为解决方案的巨大优势之一。

大多数企业的关键数据存在于许多OLTP数据库中。存储在这些数据库中的数据包含有关用户，产品和许多其他有用项的信息。如果要分析此数据，传统的方法是定期将该数据复制到OLAP数据仓库中。

日志数据在所有应用程序中一直很流行，但Hadoop能够处理生产系统生成的大量日志数据。各种系统生成从网络设备和操作系统到Web服务器和应用程序的日志数据。这些日志文件都提供了对系统和应用程序如何运行以及如何使用的宝贵见解。统一日志文件的原因是它们往往采用文本形式和面向行的方式，因此易于处理。

国庆期间，大数据领域的两大巨头公司Cloudera和Hortonworks宣布平等合并，Cloudera以股票方式收购Hortonworks，Cloudera股东最终获得合并公司60%的股份。 这笔交易意味着Hadoop市场再也无法维持两大竞争对手对峙的状态了。

企业在完全致力于在项目中使用Hadoop之前，数据移动是必须解决的事情之一。如何将数千台主机日志数据放入Hadoop?从关系型或者No/NewSQL系统以及Hadoop中获取数据的最有效方法是什么?如何将Hadoop中生成的Lucene索引输出到服务器?这些流程如何实现自动化?

在上一节，我们介绍了在HDFS中组织数据的规则和方法。本节作为《Hadoop从入门到精通》专题的第四章第二节，将主要介绍如何在Hive中进行数据压缩，有哪些可选的数据压缩方法等内容。数据压缩是一种将数据简化为更紧凑形式的机制，以节省存储空间并提高数据传输效率。

在上一章，我们研究了如何在MapReduce中使用不同的文件格式，以及哪些格式适合存储数据(往期文章请查看文末链接)。一旦熟练掌握了数据格式的概念和使用法则，就该思考如何在HDFS中组织数据了。在设计Hadoop系统时，企业应该尽早了解如何访问数据，以便优化将支持的重要用例，这一点非常重要。

传统的IT选型，企业通常会找三家左右的供应商进行PK，但对Splunk中国客户而言，却并非如此。