ITPub博客

首页 > 大数据 > Hadoop

关于 “Hadoop” 的内容如下:

  • Hadoop实战:Hive操作使用

    Hive表类型测试内部表数据准备,先在HDFS上准备文本文件,逗号分割,并上传到/test目录,然后在Hive里创建表,表名和文件名要相同。$ cat /tmp/table_test.csv  1,user1,1000 2,user2,2000 3,user3,3000 4,user4,4000 5,user5,5000Hive创建表hive>&nbs

    安全剑客 Hadoop 341 2019-01-14 10:12
  • Router-Based HDFS Federation 在滴滴大数据的应用

    社区在 2.9 和 3.0 版本中发布了一个新的解决统一命名空间问题的方案 Router-Based Federation,该方案是基于服务端进行实现的,在升级管理方面比较好维护,滴滴最近引入了该方案,并进行了一些改造。

    java06051515 Hadoop 189 2019-01-11 11:14
  • 震惊,零开始规划大数据学习之路!

    如何开始学习大数据?人们想开始学习大数据的时候,最常问我的问题是,“我应该学Hadoop(hadoop是一款开源软件,主要用于分布式存储和计算,他由HDFS和MapReduce计算框架组成的,他们分别是Google的GFS和MapReduce的开源实现。由于hadoop的易用性和可扩展性,因此成为最近流行的海量数据处理框架。), 分布式计算,Kafka(Kafka是由LinkedIn开发的一个分布

    金罗老师 Hadoop 601 2019-01-10 17:21
  • 分享学习大数据的方法

    分享学习大数据的方法,学习大数据的头一步:打好基础,比高逼格的大数据技术更重要!而基础知识就是:编程语言和linux操作系统。我们以java编程为例,当然了你所擅长的编程语言也可以是python、Scala等!Java:只需要学习Java的标准版JavaSE就可以了,像Servlet、JSP、Tomcat、Struts、Spring、Hibernate,Mybatis都是JavaEE方向的技术在大

    金罗老师 Hadoop 948 2019-01-09 19:14
  • 大数据生态圈技术框架总揽

    1. hadoop 大数据基础框架Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。Hadoop的核心是YARN,HDFS和Mapreduce下图是hadoop生态系统,集成spark生态圈。在未来一段时间内,hadoop将于spark共存,hadoop与sp

    金罗老师 Hadoop 995 2019-01-07 22:06
  • 大数据时代,再不学习就OUT了

    大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段,处理的数据量通常是TB级,甚至是PB或EB级的数据,这是传统数据处理手段所无法完成的,其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等,汇集了当前IT领域热门流行的IT技术。想要学好大数据需掌握以下技术:在这里还是要推荐下我自己建的大数据学习交流群:199427210,群里都是学大数据开发的,如果你正在学习大数据

    金罗老师 Hadoop 682 2019-01-05 16:58
  • java操作zookeeper

    package com.rxzx.demo;import java.io.IOException;import java.util.List;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.KeeperException;import org.apache.zookeeper.WatchedEvent;impor

    Taiaishua Hadoop 682 2019-01-04 19:45
  • 2019最新大数据学习路线图

     一、入门准备1、linux操作基础在这里还是要推荐下我自己建的大数据学习交流群:199427210,群里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据软件开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴加入。1) Linux的介绍,Linux的安装:VMware Work

    金罗老师 Hadoop 689 2019-01-02 19:18
  • InnoDB:www9992019com I8I2222IIII -No valid checkpoint found.

    SSOT01:/usr/local/mysql/data>service mysqld restart MySQL server PID file could not be found! failed Starting MySQL.The server quit without updating PID file (/usr/local/mysql/data/SSOT01.pid).

    9992019 Hadoop 713 2018-12-31 15:14
  • 超级详细的阐述:大数据、云计算和人工智能的关系

    云计算、大数据和人工智能,这三个东西现在非常火,并且它们之间好像互相有关系:一般谈云计算的时候会提到大数据、谈人工智能的时候会提大数据、谈人工智能的时候会提云计算……感觉三者之间相辅相成又不可分割。但如果是非技术的人员,就可能比较难理解这三者之间的相互关系,所以有必要解释一下。

    xyz蓝月 Hadoop 231 2018-12-29 16:34
  • java操作hive

    存储类:package com.rxzx.hive;public class Beacon { private String stime; private String uid; private String sid; private String pid; public String getStime() { return stime; } public void setStime(Strin

    Taiaishua Hadoop 688 2018-12-28 21:06
  • 大数据基础知识总结和大数据方面的核心技术

    一、什么是大数据        一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、

    金罗老师 Hadoop 679 2018-12-26 17:17
  • hadoop几大机制

    1.简述 checkpoint机制这里主要是用到了SN的作用,通过SN复制了原NN中的日志文件和SN中原有的镜像文件相结合,通过这样的原理,SN等同于是NN的一个副本,当NN服务器遇到故障重启时,可以通过SN来恢复数据。2.如何单独重启 Namenode  dfs-sh.start3.简述HDFS读数据原理 客户端将请求发给NN,然后NN同意读数据,然后NN

    Taiaishua Hadoop 752 2018-12-25 20:59
  • HDFS监控背后那些事儿,构建Hadoop监控共同体

    Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。在大数据生态圈中,HDFS是最重要的底层分布式文件系统,它的稳定性关乎整个生态系统的健康。本文介绍了HDFS相关的重要监控指标,分享指标背后的思考。

    京东云 Hadoop 684 2018-12-25 16:27
  • 大数据类工程师面试题集锦附指南:互联网公司篇!

    大数据工程师是近几年异常火爆的职位,市场需求旺盛,众多互联网公司都打出了高薪招聘的广告,本文整理了网络上部分技术人员分享的各大互联网公司大数据类(Hadoop、Spark等)面试题以及面试时需要注意的一些问题,希望对各位技术人员有所帮助。

    xyz蓝月 Hadoop 385 2018-12-25 11:58
  • 中国软件大会上大快搜索入选中国数字化转型TOP100服务商

    大快搜索自荣获“2018中国大数据企业50强”殊荣,12月20日在由工信部指导,中国电子信息产业化发展研究院主办的2018中国软件大会上,大快搜索获评“2018中国大数据基础软件领域领军企业”称号,入选中国数字化转型TOP100服务商,《城市数据运河》获评优秀政务大数据解决方案。

    大快搜索DKH Hadoop 667 2018-12-24 17:06
  • 大快搜索获评“2018中国大数据基础软件领域领军企业”

    大快搜索自荣获“2018中国大数据企业50强”殊荣,12月20日在由工信部指导,中国电子信息产业化发展研究院主办的2018中国软件大会上,大快搜索获评“2018中国大数据基础软件领域领军企业”称号,入选中国数字化转型TOP100服务商,《城市数据运河》获评优秀政务大数据解决方案。

    大快搜索DKH Hadoop 669 2018-12-24 16:01
  • 恭喜大快搜索李海鹏入选数字化转型促进会专家委员

    12月20日,在工信部指导,中国电子信息产业发展研究院主办的2018中国软件大会上,宣布并成立了数字化转型促进会,大快搜索不仅成为数字转型促进会首批会员企业,来自大快搜索的李海鹏同志成功入选成为数字化转型促进会专家委员。

    大快搜索DKH Hadoop 663 2018-12-24 15:19
  • 成为一名大数据工程师,需要具备什么技能?

    经常看到近几万的朋友都在疑惑,学习Java应该选择什么发展方向,这个咱们在之前的文章中有提到过,Java发展在领域上有三个选择方向: JavaEE,主要应用于企业级应用开发;安卓开发方向;嵌入式应用开发方向。在此建议大家选择JavaEE方向,因为应用非常广泛,岗位设置也比较多。 但我们从来没有讨论过学习Java,难道这辈子就只能做Java后端开发吗?只能在这条路上奋斗到底吗?难道中途没有其他的

    金罗老师 Hadoop 676 2018-12-23 21:46
  • 入门大数据开发行业!必备的十大基础

    现在由于人工智能的大热,这方面的人才稀缺,薪资水平不用说,行业中的NO.1,所以各路人马纷纷集结互联网行业,有转行的,有转岗的。对于初学者在学习这方面肯定有许多疑问,是什么疑问呢,我在这里一 一给你解答。 一、首先要搞清楚一个概念,什么是大数据。 大数据又称巨量资料,就是数据量大、来源广、种类繁多(日志、视频、音频),大到PB级别,现阶段的框架就是为了解决PB级别的数据。 专业的来讲:大数据

    金罗老师 Hadoop 680 2018-12-22 20:58
点击加载更多下一页

成为大咖

联系我们
itpub
help@itpub.net
18603471036
扫描二维码联系客服
关于 广告服务 使用条款
京ICP备16024965号
经营性网站备案信息
网络110报警服务
中国互联网举报中心
北京互联网违法和不良信息举报中心