-
编辑 删除
Hadoop：The Definitive Guid 总结 Chapter 1~2 初识Hadoop、MapReduce
1.数据存储与分析问题：当磁盘的存储量随着时间的推移越来越大的时候，对磁盘上的数据的读取速度却没有多大的增长从多个磁盘上进行并行读写操作是可行的，但是存在以下几个方面的问题：1).第一个问题是硬件错误。使用的硬件越多出错的几率就越大。一种常用的解决方式是数据冗余，保留多分拷贝，即使一份数据...
-
编辑 删除
Notes for Hadoop the definitive guide
1. Introduction to HDFS1.1. HDFS Concepts1.1.1. Blocksl HDFS too has the concept of a block, but it is a much larger unit 64 MB by defau...
-
编辑 删除
MapReduce源码分析总结(R1)
参考：1 caibinbupt的源代码分析http://caibinbupt.javaeye.com/2 coderplay的avaeyehttp://coderplay.javaeye.com/blog/295097http://coderplay.javaeye.com/blog/3186023 Javen-Studio 咖啡小屋http://www.cppblog.com/javenstudio/articles/43073.html一 MapReduce概述Map/Reduce是一...
-
编辑 删除
Map-Reduce的过程解析(R1)
一、客户端Map-Reduce的过程首先是由客户端提交一个任务开始的。提交任务主要是通过JobClient.runJob(JobConf)静态函数实现的：public static RunningJob runJob(JobConf job) throws IOException { //首先生成一个JobClient对象 JobClient j...
-
编辑 删除
HDFS读写过程解析(R1)
一、文件的打开1.1、客户端HDFS打开一个文件，需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize)，其实现为：public FSDataInputStream open(Path f, int bufferSize) throws IOException { return new DFSClient.DFSDataInputStream(...
-
编辑 删除
HDFS简介 (R1)
一、HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。...
-
编辑 删除
Map-Reduce入门 (R1)
1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，其中第25位是符号+/-0067011990999991950051507+0000+...
-
编辑 删除
数据库设计三大范式
转载地址：http://www.cnblogs.com/linjiqin/archive/2012/04/01/2428695.html 数据库设计三大范式为了建立冗余较小、结构合理的数据库，设计数据库时必须遵循一定的规则。在关系型数据库中这种规则就称为范式。范式是符合某一种设计要求的总结。要想设计一个结构合理的关系型数据库，必须满足一定的范式。...
-
编辑 删除
hadoop0.20.2完全分布模式安装和配置
-----------------------------------------------------------hadoop集群规划IP地址 hostname------------ --------10.10.10.100 master(namenode,secondary namenode,job tracker)10.10.10.101 slave1(datanode,tasktracker)...
-
编辑 删除
hadoop0.20.2伪分布模式安装和配置
虚拟机软件VMWare Server2.0操作系统：RedHat Enterprise Linux Server 5.3(32bit)hadoop版本：0.20.2jdk版本：1.7注意：各操作用户请注意查看命令行的提示符1、首先查看下该虚拟机系统的网络配置[root@hadoop ~]# cat /etc/hosts# Do not remove the following line, or various programs# that require net...
-
编辑 删除
大表数据插入批量提交
对大表进行插入时，数据非常多，会把undo表空间撑爆，导致插入不成功，可以使用批量提交进行插入，及时释放回滚段declare --定义cursor把数据全部读入内存中 cursor cur is select nsrzhdah， sfzjlx_dm， sfzjhm， xm， ...
-
编辑 删除
flashback系列文章五（flashback table）
SQL> select * from flashback_table_test; ID NAME---------- -------------------------------------------------- 100 thomas 2 jack &...
-
编辑 删除
flashback系列文章四（flashback version/transaction query）
一、flashback version query SQL> create table fb_version_test(id number,name varchar2(50));Table created.对fb_version_test做一些dml操作SQL> insert into fb_version_test values(1,'thomas');1 row created.SQL> commit;Commit complete.SQL> insert into fb_version_tes...
