ITPub博客

版权声明：该系列文章（DW2.0下一代数据仓库架构）内容系作者学习用笔记，欢迎共同学习，所载内容版权归原书作（译）者所有，请勿转载商用。    为了理解DW2.0是怎么形成的，考虑一下几个形成因素：    1、在第一代数据仓库中，强调了数据仓库本身的建立和增加商业价值。在第一代数...

 版权声明：该系列文章（DW2.0下一代数据仓库架构）内容系作者学习用笔记，欢迎共同学习，所载内容版权归原书作（译）者所有，请勿转载商用。    最早保存数据的机制很简单。串口卡片、纸带、容量很小的磁芯存储器，那时存储器非常昂贵且容量有限。    磁带的发明和使用开...

 版权声明：该系列文章（DW2.0下一代数据仓库架构）内容系作者学习用笔记，欢迎共同学习，所载内容版权归原书作（译）者所有，请勿转载商用。    数据仓库已经问世二十多年，它已经成为信息技术基础设施的基本组成部分。    数据仓库能够为企业提供整合的、粒度的、历史...

版权声明：该系列文章（DW2.0下一代数据仓库架构）内容系作者学习用笔记，欢迎共同学习，所载内容版权归原书作（译）者所有，请勿转载商用。    DW2.0环境是一个非常复杂的环境，需要很长的时间来构建。DW2.0环境涉及及企业的很多部分：日常操作，管理，战术战略决策甚至是董事会。DW2.0环境也包含...

版权声明：该系列文章（DW2.0下一代数据仓库架构）内容系作者学习用笔记，欢迎共同学习，所载内容版权归原书作（译）者所有，请勿转载商用。    DW2.0环境的显著特点是在不同的区域能找到各种类型的数据。从许多方面说，是数据与区域定义了DW2.0.但是系统架构师的角度而言，DW2.0不仅仅是一个数据...

版权声明：该系列文章（DW2.0下一代数据仓库架构）内容系作者学习用笔记，欢迎共同学习，所载内容版权归原书作（译）者所有，请勿转载商用。    数据集市；    监视DW2.0环境；    将数据从一个数据集市移动到另一个数据集市；    如何处理不合格...

版权声明：该系列文章（DW2.0下一代数据仓库架构）内容系作者学习用笔记，欢迎共同学习，所载内容版权归原书作（译）者所有，请勿转载商用。    DW2.0数据仓库中的大部分数据集的建立都是以操作型或旧的应用系统为基础的。写于很多年前并且很多情况下无文档记录，最初的数据就是从这样的操作应用环...

版权声明：该系列文章（DW2.0下一代数据仓库架构）内容系作者学习用笔记，欢迎共同学习，所载内容版权归原书作（译）者所有，请勿转载商用。    据统计，在企业里有80%的数据是非结构化数据。但是当前计算机的技术都是致力于处理结构化、可重复的数据。这导致在企业中做决策时没有利用到一些有价值...

版权声明：该系列文章（DW2.0下一代数据仓库架构）内容系作者学习用笔记，欢迎共同学习，所载内容版权归原书作（译）者所有，请勿转载商用。    毫无疑问，DW2.0的基础设施需要很大的成本。建立它、运维它都需要成本，所使用的设备也有成本。然而，大部分公司都是反对较大支出。会很自然的被问到“...

版权声明：该系列文章（DW2.0下一代数据仓库架构）内容系作者学习用笔记，欢迎共同学习，所载内容版权归原书作（译）者所有，请勿转载商用。    DW2.0是一个巨大且复杂的环境，需要利用大量的资源并经过很长的时间建立它。DW2.0环境更像一座城市而不是一座房子。建一座房子需要相对较短的时间，在...

版权声明：该系列文章（DW2.0下一代数据仓库架构）内容系作者学习用笔记，                 欢迎共同学习，所载内容版权归原书作（译）者所有，请勿转载商用。           &nb...

hadoop中的配置属性非常多，这里只讨论关键属性，它们分散在3个文件中：core-site.xml、hdfs-site.xml、mapred-site.xml。1. core-site.xml<configuration>  <property>    <name>fs.default.name</name>    <value>hdfs://Route:9000</value>    <final>true</final>&n...

1. hadoop日志目录默认存放在hadoop安装目录下的logs文件夹中，也可以通过hadoop-env.sh中的HADOOP_LOG_DIR变量来修改。一般建议修改默认值，使之独立于hadoop安装目录，这样便于以后的升级。hadoop日志文件的名称格式为“hadoop-用户名-守护进程名-本地主机名.log”。例如“hadoop-tianyc-namenode-Route.log”...

1. 内存hadoop为各个守护进程（namenode,secondarynamenode,jobtracker,datanode,tasktracker）统一分配的内存在hadoop-env.sh中设置，参数为HADOOP_HEAPSIZE，默认为1000M。大部分情况下，这个统一设置的值可能并不适合。例如对于namenode节点，1000M的内存只能存储几百万个文件的数据块的引用。如果我想单独设...

1. 配置文件列表如下：[tianyc@Route conf]$ pwd/home/tianyc/hadoop-1.0.4/conf[tianyc@Route conf]$ ll总用量 76-rw-rw-r--. 1 tianyc NEU 7457 3月   6 10:38 capacity-scheduler.xml-rw-rw-r--. 1 tianyc NEU  535 3月   6 10:38 configuration.xsl-rw-rw-r--. 1 tianyc NEU&nbsp...

首先下载对应linux的rsync软件：http://rsync.samba.org/download.html本例中，下载rsync-3.1.1-1.el5.rfx.i386.rpm   22-Jun-2014 21:58  420K  RHEL5 and CentOS-5 x86 32bit服务端配置[root@master software]#pwd/root/software[root@master software]#ll… …-rwxr--r--1 root ...

一.介绍 (不想看直接可以跳过) Rsync 是一个远程数据同步工具，可通过 LAN/WAN 快速同步多台主机间的文件。 Rsync 本来是用以取代 rcp 的一个工具，它当前由  rsync.samba.org 维护。 Rsync 使用所谓的“ Rsync 演算法 ”来使本地和远程两个主机之间的文件达到同步，这个算法只传...

 1、列出所有Hadoop Shell支持的命令  $ bin/hadoop fs -help2、显示关于某个命令的详细信息  $ bin/hadoop fs -help command-name3、用户可使用以下命令在指定路径下查看历史日志汇总  $ bin/hadoop job -history output-dir这条命令会显示作业的细节信息，失败和终止的任务细节。4、关...

一、用户命令1、archive命令(1).什么是Hadoop archives?Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含元数据(形式是_index和_masterindx)和数据文件(part-*)。_index文件包含了档案中的文件的文件名和位置信息。(2).如何创建...

http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/FileSystemShell.html转载地址：http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/FileSystemShell.html?Overview?appendToFile?cat?chgrp?chmod?chown?copyFromLocal?copyToLocal?count?cp?du...