ITPub博客

我们最终目标是将数据移入Hadoop，涉及到了HBase。HBase是一种实时的分布式数据存储系统，通常位于与Hadoop集群相同的硬件上，或者与Hadoop集群紧密相连。能够直接在MapReduce中使用HBase数据，或将其推入HDFS，是选择HBase作为解决方案的巨大优势之一。

大多数企业的关键数据存在于许多OLTP数据库中。存储在这些数据库中的数据包含有关用户，产品和许多其他有用项的信息。如果要分析此数据，传统的方法是定期将该数据复制到OLAP数据仓库中。

日志数据在所有应用程序中一直很流行，但Hadoop能够处理生产系统生成的大量日志数据。各种系统生成从网络设备和操作系统到Web服务器和应用程序的日志数据。这些日志文件都提供了对系统和应用程序如何运行以及如何使用的宝贵见解。统一日志文件的原因是它们往往采用文本形式和面向行的方式，因此易于处理。

国庆期间，大数据领域的两大巨头公司Cloudera和Hortonworks宣布平等合并，Cloudera以股票方式收购Hortonworks，Cloudera股东最终获得合并公司60%的股份。 这笔交易意味着Hadoop市场再也无法维持两大竞争对手对峙的状态了。

企业在完全致力于在项目中使用Hadoop之前，数据移动是必须解决的事情之一。如何将数千台主机日志数据放入Hadoop?从关系型或者No/NewSQL系统以及Hadoop中获取数据的最有效方法是什么?如何将Hadoop中生成的Lucene索引输出到服务器?这些流程如何实现自动化?

在上一节，我们介绍了在HDFS中组织数据的规则和方法。本节作为《Hadoop从入门到精通》专题的第四章第二节，将主要介绍如何在Hive中进行数据压缩，有哪些可选的数据压缩方法等内容。数据压缩是一种将数据简化为更紧凑形式的机制，以节省存储空间并提高数据传输效率。

在上一章，我们研究了如何在MapReduce中使用不同的文件格式，以及哪些格式适合存储数据(往期文章请查看文末链接)。一旦熟练掌握了数据格式的概念和使用法则，就该思考如何在HDFS中组织数据了。在设计Hadoop系统时，企业应该尽早了解如何访问数据，以便优化将支持的重要用例，这一点非常重要。

传统的IT选型，企业通常会找三家左右的供应商进行PK，但对Splunk中国客户而言，却并非如此。

良好的业务依赖于好的计划。场景预测、响应描述和结果分析是业务生存的关键。技术也不例外，我们都希望得到一个好结果，但从统计学上讲，麻烦是不可预知的，可能就在你的面前。这也是您为您的房子和汽车上保险的原因。