ITPub博客

关于 “Hadoop” 的内容如下：

• 十年磨一剑！SACC带你领略企业大数据平台实践优化！

  十余年来，企业架构经过了数次迭代和变迁，ITPUB是这一切的重要见证者，同样陪伴了无数架构师的成长。10月17日，第十届中国系统架构师大会以“十年架构，成长之路”为主题，云集了国内CTO、研发总监、高级系统架构师、开发工程师和IT经理等技术人群，与会规模超千人。本届大会特设四大主线，其中，主线二为基于大数据平台的应用实践，数位技术专家倾囊相授，SACC十年磨砺，涅槃起航!

  大数据频道 Hadoop 1112 2018-10-22 15:22

• 如何使用Hadoop捆绑的低级工具进行数据提取？

  在之前的几个章节，我们已经掌握了如何将数据从其他系统导入Hadoop。一旦企业使用Hadoop执行某些关键功能，无论是数据挖掘还是数据聚合，下一步通常是将该数据外部化到其他系统。例如，通常依靠Hadoop对从实时系统中提取的数据执行离线聚合，然后将派生数据反馈到实时系统中。

  大数据频道 Hadoop 1346 2018-10-19 17:30

• DKHadoop大数据开发框架的构成模块

  大数据也不是近几年才出现的新东西，只是最近几年才真正意义上变得热门、火爆！而这要得益于互联网信息技术的快速发展，网络改变世界、改变生活，大数据技术的应用让这样的改变更为深刻。

  adnb34g Hadoop 569 2018-10-19 14:43

• 如何将kafka中的数据快速导入Hadoop？

  Kafka是一个分布式发布 - 订阅系统，由于其强大的分布式和性能特性，它正在迅速成为我们数据管道的关键部分。 它可用于许多功能，例如消息传递，指标收集，流处理和日志聚合。Kafka的另一个有效用途是将数据移入Hadoop。

  大数据频道 Hadoop 1531 2018-10-18 17:57

• 阿里云朱照远：边缘计算，无处不在

  在2018杭州云栖大会19号下午的论坛上，朱照远对边缘计算进行了深入的阐述，他认为边缘计算是云计算的一部分，是对云计算边界的拓展，云和边缘、终端协同，是万物智联时代的基本形态，这一组合，将满足企业低成本低延时的计算需求。万物智联的时代，将有百亿乃至千亿级设备的接入。朱照远说："之前云和端二体协同的计算架构，已经不能满足物联网时代下的需求，云+边+端三体协同成为更好的解决方案，边缘计算在万

  许此一生 Hadoop 543 2018-10-17 15:14

• DKHadoop大数据平台架构详解

  大数据的时代已经来了，信息的爆炸式增长使得越来越多的行业面临这大量数据需要存储和分析的挑战。Hadoop作为一个开源的分布式并行处理平台，以其高拓展、高效率、高可靠等优点越来越受到欢迎。这同时也带动了hadoop商业版的发行。这里就通过大快DKhadoop为大家详细介绍一下hadoop大数据平台架构内容。

  adnb34g Hadoop 732 2018-10-17 14:40

• YARN的Memory和CPU调优配置详解

  YARN的Memory和CPU调优配置详解

  l_x_p_火力全开 Hadoop 612 2018-10-15 16:23

• 数据导入终章：如何将HBase的数据导入HDFS？

  我们最终目标是将数据移入Hadoop，涉及到了HBase。HBase是一种实时的分布式数据存储系统，通常位于与Hadoop集群相同的硬件上，或者与Hadoop集群紧密相连。能够直接在MapReduce中使用HBase数据，或将其推入HDFS，是选择HBase作为解决方案的巨大优势之一。

  大数据频道 Hadoop 1845 2018-10-15 15:53

• DKhadoop框架结构说明

  目前国内的hadoop商业发行版也是比较多，这些hadoop商业版大部分都是由国外发行的，纯国产的发行版不是很多，比如DKhadoop，可以说是目前国内自主做hadoop商业版比较好的了。下面就以大快搜索DKhadoop为例来给大家介绍一下hadoop框架结构！

  adnb34g Hadoop 711 2018-10-15 15:37

• MapReduce

  MapReduce学习

  l_x_p_火力全开 Hadoop 354 2018-10-15 10:53

• HDFS

  HDFS学习

  l_x_p_火力全开 Hadoop 542 2018-10-15 10:12

• yarn学习

  yarn学习总结

  l_x_p_火力全开 Hadoop 628 2018-10-15 10:09

• 深度剖析HBase负载均衡和性能指标

  在分布式系统中，负载均衡是一个非常重要的功能，HBase通过Region的数量实现负载均衡，即通过hbase.master.loadbalancer.class实现自定义负载均衡算法。下面将为大家剖析HBase负载均衡的相关内容以及性能指标。

  大快搜索DKH Hadoop 1246 2018-10-13 10:37

• 如何将传统关系数据库的数据导入Hadoop？

  大多数企业的关键数据存在于许多OLTP数据库中。存储在这些数据库中的数据包含有关用户，产品和许多其他有用项的信息。如果要分析此数据，传统的方法是定期将该数据复制到OLAP数据仓库中。

  大数据频道 Hadoop 1279 2018-10-12 17:01

• Hadoop的集群环境部署说明

  Hadoop集群环境搭建是很多学习hadoop学习者或者是使用者都必然要面对的一个问题，网上关于hadoop集群环境搭建的博文教程也蛮多的。对于玩hadoop的高手来说肯定没有什么问题，甚至可以说事“手到擒来”的事情，但对于hadoop的初学者来说，hadoop集群环境的搭建着实压力不小。

  adnb34g Hadoop 583 2018-10-12 14:52

• 如何将日志文件和二进制文件快速导入HDFS？

  日志数据在所有应用程序中一直很流行，但Hadoop能够处理生产系统生成的大量日志数据。各种系统生成从网络设备和操作系统到Web服务器和应用程序的日志数据。这些日志文件都提供了对系统和应用程序如何运行以及如何使用的宝贵见解。统一日志文件的原因是它们往往采用文本形式和面向行的方式，因此易于处理。

  大数据频道 Hadoop 1470 2018-10-11 15:14

• Python实现csv格式转换成JSON格式文件

  本篇文章写Python实现csv转换成JSON格式的文件方便导入MongoDB中，目前刚学Python，以后有更好的会更新！

  studyingeveryday Hadoop 10050 2018-10-10 19:02

• Python实现List合成Dict

  使用程序实现两个List合成Dict，方便处理JSON，用于前期关系型数据库文件转换成大数据格式

  studyingeveryday Hadoop 2233 2018-10-10 17:57

• Cloudera和Hortonworks宣布合并：对Hadoop的一记重创！

  国庆期间，大数据领域的两大巨头公司Cloudera和Hortonworks宣布平等合并，Cloudera以股票方式收购Hortonworks，Cloudera股东最终获得合并公司60%的股份。 这笔交易意味着Hadoop市场再也无法维持两大竞争对手对峙的状态了。

  大数据频道 Hadoop 12976 2018-10-09 11:17

• Hadoop数据传输：如何将数据移入和移出Hadoop？

  企业在完全致力于在项目中使用Hadoop之前，数据移动是必须解决的事情之一。如何将数千台主机日志数据放入Hadoop?从关系型或者No/NewSQL系统以及Hadoop中获取数据的最有效方法是什么?如何将Hadoop中生成的Lucene索引输出到服务器?这些流程如何实现自动化?

  大数据频道 Hadoop 2442 2018-10-08 17:38