ITPub博客

首页 > 大数据 > Hadoop

关于 “Hadoop” 的内容如下:

  • DKHhadoop集群添加节点管理功能的操作步骤

    Hadoop作为搭建大数据处理平台的重要“基石”,关于它的分析和讲解的文章已经有很多了。Hadoop本身是一分布式的系统,因此在安装的时候,需要多每一个节点进行组建的安装。并且由于是开源软件,其安装过程相对比较复杂。这也是很多人在搭建hadoop运行环境时总是不能一次性成功的主要原因。

    adnb34g Hadoop 201 2019-01-16 15:32
  • DKHadoop大数据可视化平台监控功能深度解析

    在上一篇的文章中已经明确说过DKM作为大快发行版DKhadoop的管理平台,它的四大功能分别是:管理功能,监控功能,诊断功能和集成功能。管理功能已经给大家列举了一些做了说明,今天就DKM平台的监控功能再给大家做细致的分享分析。

    adnb34g Hadoop 577 2019-01-14 14:56
  • Hadoop实战:Hive操作使用

    Hive表类型测试内部表数据准备,先在HDFS上准备文本文件,逗号分割,并上传到/test目录,然后在Hive里创建表,表名和文件名要相同。$ cat /tmp/table_test.csv  1,user1,1000 2,user2,2000 3,user3,3000 4,user4,4000 5,user5,5000Hive创建表hive>&nbs

    安全剑客 Hadoop 665 2019-01-14 10:12
  • 为什么学习大数据,大数据专家写给大数据分析学习者的10个理由

    因为大数据爆发,因此出现了大数据开发、大数据分析这两大主流的工作方向,目前这两个方向是很热门,不少人已经在开始转型往这两个方向发展,相较而言,转向大数据分析的人才更多一点,而同时也有不少人在观望中,这边小编收集了十个为什么要学习大数据分析的十个理由。下面我们一起来看看大数据专家写给大数据分析学习者的10个理由互联网科技发展蓬勃兴起,人工智能时代来临,抓住下一个风口。为帮助那些往想互联网方向转行想学

    金罗老师 Hadoop 390 2019-01-13 17:16
  • {Submarine} 在 Apache Hadoop 中运行深度学习框架

    Hadoop是用于大型企业数据集的分布式处理的最流行的开源框架,它在本地和云端环境中都有很多重要用途。深度学习对于语音识别,图像分类,AI聊天机器人,机器翻译等领域的企业任务非常有用,仅举几例。为了训练深度学习/机器学习模型,可以利用TensorFlow / MXNet / Pytorch / Caffe / XGBoost等框架。有时需要将这些框架进行组合使用以用于解决不同的问题。

    大数据文摘 Hadoop 619 2019-01-11 14:27
  • Router-Based HDFS Federation 在滴滴大数据的应用

    社区在 2.9 和 3.0 版本中发布了一个新的解决统一命名空间问题的方案 Router-Based Federation,该方案是基于服务端进行实现的,在升级管理方面比较好维护,滴滴最近引入了该方案,并进行了一些改造。

    java06051515 Hadoop 2308 2019-01-11 11:14
  • 震惊,零开始规划大数据学习之路!

    如何开始学习大数据?人们想开始学习大数据的时候,最常问我的问题是,“我应该学Hadoop(hadoop是一款开源软件,主要用于分布式存储和计算,他由HDFS和MapReduce计算框架组成的,他们分别是Google的GFS和MapReduce的开源实现。由于hadoop的易用性和可扩展性,因此成为最近流行的海量数据处理框架。), 分布式计算,Kafka(Kafka是由LinkedIn开发的一个分布

    金罗老师 Hadoop 828 2019-01-10 17:21
  • 分享学习大数据的方法

    分享学习大数据的方法,学习大数据的头一步:打好基础,比高逼格的大数据技术更重要!而基础知识就是:编程语言和linux操作系统。我们以java编程为例,当然了你所擅长的编程语言也可以是python、Scala等!Java:只需要学习Java的标准版JavaSE就可以了,像Servlet、JSP、Tomcat、Struts、Spring、Hibernate,Mybatis都是JavaEE方向的技术在大

    金罗老师 Hadoop 1178 2019-01-09 19:14
  • Hadoop新手篇:hadoop入门基础教程

    关于hadoop的分享此前一直都是零零散散的想到什么就写什么,整体写的比较乱吧。最近可能还算好的吧,毕竟花了两周的时间详细的写完的了hadoop从规划到环境安装配置等全部内容。写过程不是很难,最烦的可能还是要给每一步配图,工程量确实比较大。

    adnb34g Hadoop 1208 2019-01-09 15:10
  • 大数据生态圈技术框架总揽

    1. hadoop 大数据基础框架Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。Hadoop的核心是YARN,HDFS和Mapreduce下图是hadoop生态系统,集成spark生态圈。在未来一段时间内,hadoop将于spark共存,hadoop与sp

    金罗老师 Hadoop 3559 2019-01-07 22:06
  • 超详细Dkhadoop虚拟机图文安装步骤

    计划在接下来的一段时间里,以我之前学习研究大快搜索DKHadoop时经验为基础,给大家整理分享虚拟机的安装、操作系统安装、服务器操作系统配置、DKH系统安装等相关内容。文章篇幅可能会比较长,所以每篇就只分享一到两个点。本篇给大家分享DKHadoop虚拟机的环境安装。

    adnb34g Hadoop 1295 2019-01-07 14:50
  • 大数据时代,再不学习就OUT了

    大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段,处理的数据量通常是TB级,甚至是PB或EB级的数据,这是传统数据处理手段所无法完成的,其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等,汇集了当前IT领域热门流行的IT技术。想要学好大数据需掌握以下技术:在这里还是要推荐下我自己建的大数据学习交流群:199427210,群里都是学大数据开发的,如果你正在学习大数据

    金罗老师 Hadoop 977 2019-01-05 16:58
  • java操作zookeeper

    package com.rxzx.demo;import java.io.IOException;import java.util.List;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.KeeperException;import org.apache.zookeeper.WatchedEvent;impor

    Taiaishua Hadoop 1181 2019-01-04 19:45
  • hadoop集群管理系统搭建规划说明

    Hadoop分布式集群环境搭建是每个入门级新手都非常头疼的事情,因为你可能花费了很久的时间在搭建运行环境,最终却不知道什么原因无法创建成功。但对新手来说,运行环境搭建不成功的概率还蛮高的。

    adnb34g Hadoop 978 2019-01-04 14:01
  • 2019最新大数据学习路线图

     一、入门准备1、linux操作基础在这里还是要推荐下我自己建的大数据学习交流群:199427210,群里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据软件开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴加入。1) Linux的介绍,Linux的安装:VMware Work

    金罗老师 Hadoop 5165 2019-01-02 19:18
  • 超级详细的阐述:大数据、云计算和人工智能的关系

    云计算、大数据和人工智能,这三个东西现在非常火,并且它们之间好像互相有关系:一般谈云计算的时候会提到大数据、谈人工智能的时候会提大数据、谈人工智能的时候会提云计算……感觉三者之间相辅相成又不可分割。但如果是非技术的人员,就可能比较难理解这三者之间的相互关系,所以有必要解释一下。

    xyz蓝月 Hadoop 433 2018-12-29 16:34
  • java操作hive

    存储类:package com.rxzx.hive;public class Beacon { private String stime; private String uid; private String sid; private String pid; public String getStime() { return stime; } public void setStime(Strin

    Taiaishua Hadoop 1929 2018-12-28 21:06
  • 大数据基础知识总结和大数据方面的核心技术

    一、什么是大数据        一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、

    金罗老师 Hadoop 3387 2018-12-26 17:17
  • 大数据hadoop入门之hadoop家族产品详解

    大数据这个词也许几年前你听着还会觉得陌生,但我相信你现在听到hadoop这个词的时候你应该都会觉得“熟悉”!越来越发现身边从事hadoop开发或者是正在学习hadoop的人变多了。作为一个hadoop入门级的新手,你会觉得哪些地方很难呢?运行环境的搭建恐怕就已经足够让新手头疼。如果每一个发行版hadoop都可以做到像大快DKHadoop那样把各种环境搭建集成到一起,一次安装搞定所有,那对于新手来说将是件多么美妙的事情!

    adnb34g Hadoop 916 2018-12-26 14:49
  • hadoop几大机制

    1.简述 checkpoint机制这里主要是用到了SN的作用,通过SN复制了原NN中的日志文件和SN中原有的镜像文件相结合,通过这样的原理,SN等同于是NN的一个副本,当NN服务器遇到故障重启时,可以通过SN来恢复数据。2.如何单独重启 Namenode  dfs-sh.start3.简述HDFS读数据原理 客户端将请求发给NN,然后NN同意读数据,然后NN

    Taiaishua Hadoop 1133 2018-12-25 20:59
点击加载更多下一页

成为大咖

联系我们
itpub
help@itpub.net
ITPUB-饶
扫描二维码联系客服
关于• 广告服务• 使用条款
京ICP备16024965号
经营性网站备案信息
网络110报警服务
中国互联网举报中心
北京互联网违法和不良信息举报中心

关注公众号获取更多技术文章