-
大数据是什么？华为云学院带你探索大数据之旅
大数据是什么？华为云学院带你探索大数据之旅我们首先从大数据是什么开始讲起！下面由我来带领大家！展开我们本次的大数据学习之旅！大数据是什么，内容将包括大数据的产生，发展大数据的基本概念。首先我们来追溯一下大数据的产生与发展，大数据的产生和发展主要经历了三个阶段。第一个阶段，我们称为是萌芽期！自上世纪九十年代至本世纪初，随着数据挖掘理论和数据库技术的逐步成熟，一批商业智能工具和知识的管理技术也开始得到
-
如何在HDFS中进行数据压缩以实现高效存储？
在上一节，我们介绍了在HDFS中组织数据的规则和方法。本节作为《Hadoop从入门到精通》专题的第四章第二节，将主要介绍如何在Hive中进行数据压缩，有哪些可选的数据压缩方法等内容。数据压缩是一种将数据简化为更紧凑形式的机制，以节省存储空间并提高数据传输效率。
-
基于Hadoop的实例：P2P借款人信用风险实时监控模型设
一提到hadoop相信熟悉IT领域或者经常关注互联网新闻的朋友都应该很熟悉了，当然，这种熟悉可能也只是听着名字耳熟，但并不知道它具体是什么东西，或者用来做什么。这些都不重要，重要的是你知道有hadoop这么个东西就可以了。
-
P2P借款人信用风险实时监控模型设计
P2P网络贷款(“peer-to-peer”)为中小企业和个人提供了便利的融资渠道。近年来，随着互联网金融的逐步发展，P2P网贷已成为时下炙手可热的互联网金融新模式。凭借着“高收益”的理财优势，各类P2P网贷平台呈现逐年增长的态势。目前，我国正常运行P2P平台数量已达近3000家，累计成交量约8000亿元。
-
企业使用Hadoop的重大挑战：如何在HDFS中组织和使用数据？
在上一章，我们研究了如何在MapReduce中使用不同的文件格式，以及哪些格式适合存储数据(往期文章请查看文末链接)。一旦熟练掌握了数据格式的概念和使用法则，就该思考如何在HDFS中组织数据了。在设计Hadoop系统时，企业应该尽早了解如何访问数据，以便优化将支持的重要用例，这一点非常重要。
-
详解HBase架构原理及单机安装部署步骤
详解HBase架构原理及单机安装部署步骤
-
企业自有数据格式杂乱，MapReduce如何搞定？
本文作为《Hadoop从入门到精通》大型专题第三章的最后一篇文章，主要介绍了SequenceFile和Avro之外的其它数据格式，以及与MapReduce的兼容性，并介绍了企业常用的自定义数据格式或CSV格式如何作为MapReduce作业输入等内容。
-
大数据面试题
一把辛酸泪，谁解其中味。
-
如何在MapReduce中使用Avro数据格式？
本文作为《Hadoop从入门到精通》大型专题的第三章后续，主要是对前一章中所提及的Protocol Buffers概念的补充以及如何在MapReduce中使用Avro数据格式。Avro改进了Protocol Buffers，因为其代码生成是可选的，并且以容器文件格式嵌入模式，允许动态发现和数据交互。Avro有一种机制来处理使用通用数据类型的模式数据，这部分将会在之后的章节中呈现（往期文章可自行查看文末链接）。
-
学hadoop需要什么基础
最近一段时间一直在接触关于hadoop方面的内容，从刚接触时的一片空白，到现在也能够说清楚一些问题。这中间到底经历过什么只怕也就是只有经过的人才会体会到吧。前几天看到有个人问“学hadoop需要什么基础”，这个问题好像至今还没好好细想过，可能是因为身边有大神在带着我学习hadoop的缘故，也就没想过这样的一个简单的问题。
-
如何在MapReduce中使用SequenceFile数据格式？
本文作为《Hadoop从入门到精通》大型专题的第三章第三节，主要介绍如何在MapReduce中使用SequenceFile数据格式。我们在上一篇文章中提到了许多可与MapReduce大数据处理匹配的数据格式，本节将首先介绍SequenceFile数据格式。（往期文章可查看文末）
-
Hanlp自然语言处理工具的使用演练
Hanlp是由一系列模型与算法组成的工具包，目标是普及自然语言处理在生产环境中的应用。Hanlp具备功能完善、性能高效、架构清洗、语料时新、可自定义的特点；提供词法分析（中文分词、磁性标注、命名实体识别）、句法分析、文本分类和情感分析等功能。
-
hadoop不同版本有哪些
假如说你有一个篮子水果，你想知道苹果和梨的数量是多少，那么只要一个一个数就可以知道有多少了。如果你有一个集装箱水果，这时候就需要很多人同时帮你数了，这相当于多进程或多线程。如果你很多个集装箱的水果，这时就需要分布式计算了，也就是Hadoop。
-
MapReduce中对大数据处理最合适的数据格式是什么？
在本章的第一章节介绍中，我们简单了解了Mapreduce数据序列化的概念，以及其对于XML和JSON并不友好。本节作为《Hadoop从入门到精通》大型专题的第三章第二节将教大家如何在Mapreduce中使用XML和JSON两大常见格式，并分析比较最适合Mapreduce大数据处理的数据格式。（本专题的其他章节阅读详见文末链接）3.2.1 XML XML自1998年诞生以来就作为一种数据格
-
hadoop商业版本选择对比
当前hadoop的发行版本除了Apache的开元版本之外，华为发行版、Intel发行版以及Cloudera发行版等。上面说的这几个第三方的发行版已经有相对较长的一些时间，除此之外还有最近几年异军突起的DKhadoop商业发行版。
-
MapReduce数据序列化读写概念浅析！
MapReduce为处理简单数据格式（如日志文件）提供了简明的文档支持，但MapReduce已经从日志文件发展到更复杂的数据序列化格式（如文本，XML和JSON）处理，本章的目标是记录如何使用常见的数据序列化格式，以及检查更结构化的序列化格式，并比较它们与MapReduce的适用性。
-
Hadoop生态系统各组件与Yarn的兼容性如何？
作为Hadoop 2.0中出现的资源管理系统，Yarn总体上仍然是master/slave结构，在整个资源管理框架中，resourcemanager为master，nodemanager是slave。作为Hadoop生态系统的一部分，Yarn要想获得市场认可，必须学会与Hadoop生他系统中其他组件兼容。本文作为《Hadoop从入门到精通》大型专题的第二章第三节，主要介绍了Yarn如何与Hadoop生态系统中其他组件配合。
-
如何在Ubuntu-16.04上配置Apache Kafka集群！
Apache Kafka是一个免费的开源流处理软件平台，由Apache软件基金会用Scala编写。它是一种分布式消息代理，专门用于有效处理大量实时信息。与其他消息代理系统（如ActiveMQ和RabbitMQ）相比，Apache Kafka具有更高的吞吐量。Apache Kafka基于提交日志，允许用户订阅并将数据发布到任意数量的系统或实时应用程序。
-
hadoop发行版本之间的区别
Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop的发行版除了有Apache hadoop外cloudera，hortonworks，mapR,华为,DKhadoop等都提供了自己的商业版本。商业发行版主要是提供了更为专业的技术支持，这对于大型企业更为重要，不同发行版都有自己的一些特点，本文就各发行版做简单对比介绍。
-
大数据系统框架中hadoop服务角色介绍
翻了一下最近一段时间写的分享，DKHadoop发行版本下载、安装、运行环境部署等相关内容几乎都已经写了一遍了。虽然有的地方可能写的不是很详细，个人理解水平有限还请见谅吧！我记得在写DKHadoop运行环境部署的时候，遗漏了hadoop服务角色的内容，本篇特地补上这部分内容吧，不然总觉得不舒服。
