hadoop 大数据平台架构之 DKhadoop 详解

大数据的时代已经来了，信息的爆炸式增长使得越来越多的行业面临这大量数据需要存储和分析的挑战。 Hadoop 作为一个开源的分布式并行处理平台，以其高拓展、高效率、高可靠等优点越来越受到欢迎。这同时也带动了 hadoop 商业版的发行。这里就通过大快 DKhadoop 为大家详细介绍一下 hadoop 大数据平台架构内容。

目前国内的商业发行版 hadoop 除了大快 DKhadoop 以外还有像华为云等。虽然发行方不同，但在平台架构上相似，这里就以我比较熟悉的 dkhadoop 来介绍。

1、 大快 Dkhadoop ， 可以说是 集成了整个 HADOOP生态系统的全部组件，并 对其进行了 深度优化，重新编译为一个完整的更高性能的大数据通用计算平台，实现了各部件的有机协调。因此 DKH相比开源的大数据平台，在计算性能上有了 非常高的 提升。 这一点也是个人觉得 dkhadoop比我之前使用的另外一个商业发行版的要好的，国内的大部分商业发行版hadoop可以说都是二次包装，dkhadoop做的好的就是敢在原生态的基础上进行开发。

2、 大快 DKhadoop中间件技术把大数据集群配置简化成三种节点，这样不仅简化了集群的管理运维，还增强了集群的可用性和稳定性。Dkhadoop中间件集成了apache的很多组件 包含了从文件、 SQL 、日志、消息到爬虫和流数据以及异构数据的支持；集成了大快的压缩算法，和数据同步分发技术，实现了数据的导入和减少调动的同时实现，对于有实时数据要求的项目具有不可替代的技术优势。

3 、大快 DKhadoop 商业发行版还是保持了开源系统的优点的，可以与开源系统 100% 兼容。对于那些基于开源平台开发的大数据应用并不需要经过改动同样可以在 dkhadoop 上高效运行。

4 、 DKhadoop 一体化开发框架提供了大数据、搜索、自然语言处理和人工智能开发中常用的二十多个类，总计一百余种方法，实现了开发效率的大幅提升。 DK.HADOOP 整合集成了 NOSQL 数据库，简化了文件系统与非关系数据库之间的编程； DK.HADOOP 改进了集群同步系统，使得 HADOOP 的数据处理更加高效。

5、 DK hadoop 的 SQL版本，还提供了分布式MySQL的集成，传统的信息系统，可无缝的实现面向大数据和分布式的跨越。

6 、 ES ：快递 DKhadoop 的搜索系统是在开源 ES 系统上二次开发的，支持完成的全文搜索。 整合了对中文搜索的有效支持以及对大快数据同步技术的支持后的高性能版本， DK.ES 是 DKH 的核心组件之一，仅随 DKH 集成整合了对中文搜索的有效支持以及对大快数据同步技术的支持后的高性能版本， DK.ES 是 DK hadoop 的核心组件之一 。

7 、汉语言处理组件：大快的汉语言处理是目前国内使用率最高的开源自然语言处理开发包。

简单的就介绍这些了吧，想要进一步了解的可以搜索查询下或者下载一下 dkhadoop 学习版本了解。以下是关于 dkhadoop 版本的问题：

DKH标准版     DKH-分布式SQL版   DK.HADOOP发行版

DKH标准版有三个不同的子版本：用于开发调试的单机版；支持三节点的学习版；支持5节点以上的标准服务器版

DKH-分布式SQL版有两个子版本：学习版、服务器版