ITPub博客

首页 > 大数据 > Hadoop

关于 “Hadoop” 的内容如下:

  • 怎样安装Ubuntu操作系统

    Ubuntu 是一个启动速度超快、界面友好、安全性好的开源操作系统,它由全球顶尖开源软件专家开发,适用于桌面电脑、笔记本电脑、服务器以及上网本等,并且它可以永久免费使用。如果你厌倦了Windows,如果你想体验当今世界上用户量增长最快的Linux操作系统,不妨跟着这个教程来为你的电脑添加一个Ubuntu。(放心,你的Windows系统不会受到任何影响,安装完成后,你可以自由的选择进入哪一个操作系统 :-P) 准备工作 1. 一台普通电脑(装没装操作系统无所谓),保证电脑硬盘

    关于二道桥 Hadoop 274 2010-10-15 14:48
  • 怎样修改WIN7下的host文件

    Win7下因为权限问题会导致不能更改hosts文件,这让人很是苦恼.下面的几种方法很有效.希望对大家有用. 方法一 第一种方法是网上流传很广的覆盖方法.就是先复制hosts文件到别的地方,修改完了再覆盖回来就搞定了。中间会提示目标文件夹拒绝访问,需要提供管理员权限,点击继续即可。这是很简单的一种方法,这里就不多讲了. 方法二 ,用记事本更改 首先在开始菜单中,用管理员权限打开一个记事本,然后在记事本中打开hosts文件,这样因为是以管理员权限打

    jameswoo111111 Hadoop 178 2010-10-15 11:52
  • 怎样搭建JSP环境

    要想搭好jsp环境关键在于你是否设好环境变量 步骤/方法 1 首先将你下载的j2sdk-1_4_1_04-windows-i586.exe安装(我这里是按默认安装目录是c:j2sdk1_4_1_04,建议不要更改默认按装目录,当然更改也可以) 2 设置环境变量的方法开始->设置->控制面板->系统->高级->环境变量->系统变量(其实简单的说就是右击桌面我的电脑属性,高级->环境变量->系统变量)新建一个变量名CLASSPATH,其变量值为c:j2sdk1_4_1_04lib ools.jar;c:j2sdk1_4_1_04libdt.jar;(注意在too

    kingtf007 Hadoop 42 2010-10-15 10:18
  • 怎样在ubuntu linux下体验android(到2.2版本)

    所需工具 Android SDK:http://u.115.com/file/t813f4e0c ubuntu下安装体验android需要安装openjdk,你可以在新力德上面搜索openjdk-6-jre,完成安装。如果你是64位的ubuntu系统还需要安装ia32-libs。 安装教程 解压下载来的Android SDK,然后打开里面的tools/android,点击运行。 点击update All,然后选择你需要安装体验的版本,比如我选择的是2.2,可以选中前两个包Accept 其余包Reject进行安装,如果你想模拟支持的所有android

    kklv0452 Hadoop 153 2010-10-14 12:23
  • 怎样安装Windows操作系统

    有许多电脑新手们又想安装系统,可是又不会安装,这里就把安装方法教给大家(本文以Windows Vista为例) 需要准备 1 PC机一台(符合要安装的系统的最低配置)、Windows安装盘或安装盘镜像(网上可以下载,本文使用的是Vista)、Windows PE(看看你有没有Ghost系统安装盘,一般都会有PE,如果没有就请上网下载一个安装上,一般是安装在U盘上) END 步骤/方法 启动Windows PE,加载安装盘虚拟光驱。打开安装盘中的setup.exe(如果开启了自动播放会直接打开的),点击现

    Eddyhui Hadoop 138 2010-10-13 14:43
  • 怎样快速入门攀爬自行车

    攀爬自行车(biketrial)严格来说,不在极限运动范畴,是一个独立的项目。外行人看,觉得这个运动难度很高,其实我认为,与玩好篮球、足球是一样的,只是有一定的门槛高度。我来说一些入门知识、帮助大家更好的理解。 步骤/方法 1 首先,要有一辆车。对于新手来说,不建议用太好的车,够用即可。对于攀爬车而言,最重要的是两个部分,一个是刹车系统(推荐用液压刹车或碟刹);另一个是传动系统(速比3-4;飞轮72响以上)关于车的角度,根据自己的身高情况而定。重量、美观度前期

    leo099 Hadoop 240 2010-09-28 18:51
  • 生物信息学与数据挖掘--09级研究生课题

    一、生物信息学与数据挖掘 生物信息学是一门新兴的交叉学科。生物信息学是伴随基因组研究而产生的,它的研究内容紧随着基因组研究而发展。在过去的一个世纪里,生物医学研究有了迅猛的发展,目前大量研究都集中在DNA数据的分析上,由此产生了一门新的学科--生物信息学。生物信息学(bioinformatics)是在生命科学的研究中,以计算机为工具对生物信息进行储存、检索和分析的科学。它是当今生命科学和自然科学的重大前沿领域之一,同时也是21世纪自然科学的核心领域之一。其研究重点主要体现在基因组学(genomics)和蛋白组学(proteomi

    glm1999 Hadoop 395 2010-07-04 09:35
  • Hadoop源代码分析系列8【转】

    原文地址:http://caibinbupt.javaeye.com/blog/281476 有了Client和Server,很自然就能RPC啦。下面轮到RPC.java啦。 一般来说,分布式对象一般都会要求根据接口生成存根和框架。如CORBA,可以通过IDL,生成存根和框架。但是,在org.apache.hadoop.rpc,我们就不需要这样的步骤了。上类图。 为了分析Invoker,我们需要介绍一些Java反射实现Dynamic Proxy的背景。 Dynamic Proxy是由两个class实现的:java.lang.reflect.Proxy 和 java.lang.reflect.InvocationHandler,后者是一个接口。所谓Dynamic Proxy是这样一种class:它是

    junzilan9 Hadoop 143 2010-06-12 16:17
  • Hadoop源代码分析系列7【转】

    原文地址:http://caibinbupt.javaeye.com/blog/281281 需要注意的是,这里的Server类是个抽象类,唯一抽象的地方,就是: public abstract Writable call(Writable param, long receiveTime) throws IOException; 这表明,Server提供了一个架子,Server的具体功能,需要具体类来完成。而具体类,当然就是实现call方法。 我们先来分析Server.Call,和Client.Call类似,Server.Call包含了一次请 求,其中,id和param的含义和Client.Call是一致的。不同点在后面三个属性,connect

    s-yda-fei Hadoop 150 2010-06-12 16:07
  • Hadoop源代码分析系列6【转】

    原文地址:http://caibinbupt.javaeye.com/blog/280790 既然是RPC, 自然就有客户端和服务器,当然,org.apache.hadoop.rpc也就有了类Client和类Server。在这里我们来仔细考察 org.apache.hadoop.rpc.Client。下面的图包含了org.apache.hadoop.rpc.Client中的关键类和关键 方法。 由于Client 可能和多个Server通信,典型的一次HDFS读,需要和NameNode打交道,也需要和某个/某些DataNode通信。这就意味着某一个 Client需要维护多个连接。同时,为了减少不必要的连接,现在Client的做法是拿ConnectionId(图中最右侧)来做为 Conn

    kgdicfh Hadoop 149 2010-06-12 15:58
  • Hadoop源代码分析系列[5]

    原文地址:http://caibinbupt.javaeye.com/blog/278778 介绍完org.apache.hadoop.io以后,我们开始来分析org.apache.hadoop.rpc。RPC采用客户机/服务器模式。请求程序就是一个客户机,而服务提供程序就是一个服务器。当我们讨论HDFS的,通信可能发生在: Client-NameNode之间,其中NameNode是服务器 Client-DataNode之间,其中DataNode是服务器 DataNode-NameNode之间,其中NameNode是服务器 DataNode-DateNode之间,其中某一个DateNode是服务器,另一个是客户端 如果我们考虑Hadoop 的Map/Reduce以后,这些系统间的通信就更

    剑剑穿心 Hadoop 40 2010-06-12 15:56
  • Hadoop源代码分析系列3【转】

    原文地址:http://caibinbupt.javaeye.com/blog/277640 由于Hadoop的MapReduce和HDFS都有通信的需求,需要对通信的对象进行序列化。Hadoop并没有采用Java的序列化,而是引入了它自己的系统。 org.apache.hadoop.io中定义了大量的可序列化对象,他们都实现了Writable接口。实现了Writable接口的一个典型例子如下: public class MyWritable implements Writable {          // Some data        

    nhj2010 Hadoop 96 2010-06-12 15:08
  • Hadoop源代码分析系列2【转】

    原文地址:http://caibinbupt.javaeye.com/blog/270378 下面给出了Hadoop的包的功能分析。   Package Dependences tool 提供一些命令行工具,如DistCp,archive mapreduce Hadoop的Map/Reduce实现 filecache 提供HDFS文件的本地缓存,用于加快Map/Reduce的数据访问速度 fs 文件系统的抽象,可以理解为支持多种文件系统实现的统一文件访问接口 hdfs HDFS,Hadoop的分布式文件系统实现 ipc IPC 实现RPC的一种方法,具有快速、简单的特点。 它不像Sun公司提供的标准RPC包,基

    wangcf99 Hadoop 122 2010-06-12 15:03
  • Hadoop源代码分析系列1【转】

    原文地址:http://caibinbupt.javaeye.com/blog/262412 经济不行啦,只好潜心研究技术。 Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。 GoogleCluster: http://research.google.com/archive/googlecluster.html Chubby:http://labs.google.com/papers/chubby.html GFS:http://labs.google.com/papers/gfs.html BigTable:http://labs.google.com/papers/bigtable.html MapReduce:http://labs.google.com/papers/mapreduce.html 很快,Apache上就出现了一个类似的解决方案,

    hjc1982 Hadoop 86 2010-06-12 14:58
  • 用 Hadoop 进行分布式并行编程, 第 2 部分【转】

    原文地址:http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop2/ 曹 羽中 (caoyuz@cn.ibm.com), 软件工程师, IBM中国开发中心 2008 年 5 月 22 日 Hadoop 是一个实现了 MapReduce 计算模型的开源分布式并行编程框架,借助于 Hadoop, 程序员可以轻松地编写分布式并行程序,将其运行于计算机集群上,完成海量数据的计算。在本文中,详细介绍了如何针对一个具体的并行计算任务,基于 Hadoop 编写程序,如何使用 IBM MapReduce Tools 在 Eclipse 环境中编译并运行 Hadoop

    112209647 Hadoop 141 2010-06-12 14:25
  • 灵感一触即发——COMSOL Multiphysics V4.0闪亮登场 i

      灵感一触即发——COMSOL Multiphysics V4.0闪亮登场       一切从灵感开始!也许最初的创意只是您笔记本上的一张草图,它可能转瞬即逝,您需要将灵感变为现实,让设计在现实世界中呈现。     COMSOL Multiphysics将成为您最好的助手,协助您捕获灵感,使您的设计更快速、更有效、更真实!   网络研讨会的内容包括: 1、功率晶体管、散热片和音叉的建模与分析,介绍4.0的新形势; 2、Pro/ENGINEER®,SolidWorks®, 以及Inventor®的最新无缝接口; 3、增强的几何参

    peter2o1o Hadoop 147 2010-04-20 09:00
  • 【hadoop源码分析——2】输入输出类型

    这里的输入输出还没有设计掉底层类: 只是对mapreduce过程中输入输出使用的数据类型进行简单分析。 有三个重要的接口:writable、comparable、configurable 关系见下图: writable: 两个方法: void write(DataOutput out) throws IOException; void readFields(DataInput in) throws IOException; 分别实现对数据的序列化和反序列化,相当于抽象数据类型的get和set方法,输入输出的方向不同:重点学习一下DataOutput、DataInput两个类型。 DataOutput、DataInput是java的输入输出流,定义在标准api中。DataOutp

    medal015 Hadoop 143 2010-04-13 00:06
  • 【hadoop源码分析——1】mapreduce类

    今天开始看hadoop的源码,代码经验实在是很少,所以就从最熟悉的、最简单的开始看起。先种树,再见林吧。 先从demo看起。最常见的demo是wordcount,就是统计预料中词频。 mapreduce程序元素: 这是一个最基本的mapreduce程序,程序中必须要写的元素有: mapper reducer mapreduce执行流程: 1.设置JobConf,一系列的conf.set方法,可配置的参数有: mapper、combiner、reducer、outputKeyClass、outputValueClass、mapper count、reducer count、inputformat、outputformat 2.JobClient通过JobConf执行mapreduc程序 mapper org.ap

    dahan800229 Hadoop 198 2010-04-12 12:17
  • 推荐几个开源的数据挖掘软件[转]

    1 weka http://www.cs.waikato.ac.nz/ml/weka/ 2 Yale http://rapid-i.com/ 3 KNIME http://www.knime.org/index.html 4 R (统计软件) http://www.r-project.org/ 5 Rattle(R基础上的GUI) http://rattle.togaware.com/" TARGET=_blank> http://rattle.togaware.com/ 6 AlphaMiner(哈工大基于weka内核开发) http://bi.hitsz.edu.cn/AlphaMiner/index.htm 7 在Excel中实现了决策树、神经网络等算法。可惜VBA工程被作者加密了,不能看到源码。   http://www.geocities.com/adotsaha/ 8 Apache Lucene是一个开

    scottsw Hadoop 915 2010-04-02 21:03
  • 什么是Hadoop?

    什么是Hadoop?搞什么东西之前,第一步是要知道What(是什么),然后是Why(为什么),最后才是How(怎么做)。但很多开发的朋友在做了多年项目以后,都习惯是先How,然后What,最后才是Why,这样只会让自己变得浮躁,同时往往会将技术误用于不适合的场景。 Hadoop框架中最核心的设计就是:MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的,简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提供了底层支持。

    sunnysmile82 Hadoop 1676 2010-01-28 21:19
点击加载更多下一页

成为大咖

联系我们
itpub
help@itpub.net
ITPUB-饶
扫描二维码联系客服
关于• 广告服务• 使用条款
京ICP备16024965号
经营性网站备案信息
网络110报警服务
中国互联网举报中心
北京互联网违法和不良信息举报中心

关注公众号获取更多技术文章