ITPub博客

在windows操作系统上打开cmd命令行1、进入PowerShellpowershell2、查看所有进程get-process3、查看所有chrome进程 get-process chrome4、关闭所有chrome进程 get-process chrome|stop-process

Linux Control Groups(cgroups):在操作系统级别进行资源分配，可通过Cloudera Static Service Pools配置。YARN调度器配置:对运行在YARN上的应用进行资源配置，比如M/R，implala。可通过Cloudera 动态资源池进行配置。以下资源可以通过cgroups配置进行限制：Memory Hard Limit– If a process exceeds this limit, the kernel swaps out some of the process’s memory; if it cannot do so, the process will be killedMemory Soft Limit– When memory contenFon exists on the host, the OS targets the process to not exceed this limitCPU Shares– When CPU contenFon exists on

1.1 介绍 HTTP是Hyper Text Transfer Protocol（超文本传输协议）的缩写。它的发展是万维网协会（World Wide Web Consortium）和Internet工作小组IETF（Internet Engineering Task Force）合作的结果，（他们）最终发布了一系列的RFC，RFC 1945定义了HTTP/1.0版本。其中最著名的就是RFC 2616。RFC 2616定义了今天普遍使用的一个版本——HTTP 1.1。HTTP协议（HyperText Transfer Protocol，超文本传输协议）是用于从WWW服务器传输超文本到本地浏览器的传送协议。它可以使浏览器更加高效，使网络传输减少。它不仅保证计算机正确快速地传输超文本文档，还确定传输文档中的哪一部分，以及哪部分内容首先显示(如文本先于图形)等。HTTP是一个应用层协议，由请求和响应构成，是一个标准的客户端服务器模型。HTTP是一个无状态的协议。

HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。HTTP是一个基于TCP/IP通信协议来传递数据（HTML 文件, 图片文件, 查询结果等）。HTTP是一个属于应用层的面向对象的协议，由于其简捷、快速的方式，适用于分布式超媒体信息系统。它于1990年提出，经过几年的使用与发展，得到不断地完善和扩展。目前在WWW中使用的是HTTP/1.0的第六版，HTTP/1.1的规范化工作正在进行之中，而且HTTP-NG(Next Generation of HTTP)的建议已经提出。HTTP协议工作于客户端-服务端架构为上。浏览器作为HTTP客户端通过URL向HTTP服务端即WEB服务器发送所有请求。Web服务器根据接收到的请求后，向客户端发送响应信息。http请求-响应模型.jpg主要特点1、简单快速：客户向服务器请求服务时，只需传送请求方法和路径。请求方法常用的有GE

标准Http协议支持六种请求方法，即：1、GET2、POST3、PUT4、Delete5、HEAD6、Options

VIRT：virtual memory usage 虚拟内存1、进程“需要的”虚拟内存大小，包括进程使用的库、代码、数据等2、假如进程申请100m的内存，但实际只使用了10m，那么它会增长100m，而不是实际的使用量RES：resident memory usage 常驻内存1、进程当前使用的内存大小，但不包括swap out2、包含其他进程的共享3、如果申请1...

Cpu(s):  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st 一直不太明白，原来这样的：现代分时多任务操作系统，cpu使用时分时段来，比如某个时段A进程cpu处理用了10s,然后B进程30s，然后空闲了60s,那么这个时间内cpu占用率是40% ...

$ uptime11:12:26 up 3:44, 4 users, load average: 0.38, 0.31, 0.19 系统平均负载被定义为在特定时间间隔内运行队列中的平均进程树。如果一个进程满足以下条件则其就会位于运行队列中：它没有在等待I/O操作的结果它没有主动进入等待状态(也就是没有调用'wait')没有被停止(例如：等...

linux的watch命令非常有用，它可以定期的执行命令，并且满屏显示执行结果，全屏以外的内容可能就看不到了。Usage: watch [-dhntv] [--differences[=cumulative]] [--help] [--interval=<n>] [--no-title] [--version] <command>  -d, --differences[=cumulative]        hi...

转载地址：http://beader.me/2014/05/05/odps-mapreduce/MapReduce 原理简介??(上图引用自 INTRODUCTION TO HADOOP )??以MapReduce中最经典的wordcount应用为例，来分析一下MapReduce的全过程。这里我们要统计文件中每个单词出现的次数。Input就是我们要处理的原始数据，一共有3行。S...

在odps客户端查看dual表的数据如下：odps:sql:yangsw_test> select * from dual;InstanceId: 20141111073338737g53741z5SQL: ..+------------+------+----+| id         | name | dt |+------------+------+----+| 1        &nbsp...

1、下载DShip插件下载地址：http://www.aliyun.com/product/odps/最下面的“开发者资源”，“数据上传下载工具”，下载文件为odps-dship.zip。odps-dship\dship.bat即为windows下的执行文件。2、配置DShipodps-dship\odps.conf为DShip的配置文件，（需要jdk1.6以上），配置文件原来是这样的：#odps dship configend...

在INSERT OVERWRITE到一张分区表时，可以在语句中指定分区的值。也可以用另外一种更加灵活的方式，在分区中指定一个分区列名，但不给出值。相应的，在SELECT子句中的对应列来提供分区的值。语法格式：INSERT OVERWRITE TABLE tablename PARTITION (partcol1, partcol2 ...)select_statement FROM from_statement;备注...

MULTI INSERT支持在一个语句中插入不同的结果表或者分区。语法：FROM from_statementINSERT OVERWRITE | INTO TABLE tablename1[PARTITION (partcol1=val1, partcol2=val2 ...)]select_statement1[INSERT OVERWRITE | INTO TABLE tablename2[PARTITION ...]select_statement2]备注：? 一般情况下，单个SQL里最...

INSERT OVERWRITE/INTO语法：INSERT OVERWRITE|INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]select_statementFROM from_statement;insert into 是向表或分区中追加数据，而insert overwrite则先清空表或者分区，然后再插入数据

ODPS DDL其实很简单主要是对表和分区的DDL，和oracle和mysql的语法非常相似CREATE TABLE语法：CREATE TABLE [IF NOT EXISTS] table_name[(col_name data_type [COMMENT col_comment], ...)][COMMENT table_comment][PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)][LIFECYCLE days][AS s...

注册odps账号注册地址：http://www.aliyun.com/product/odps/还赠送一个同名的支付宝账号。开通“开放数据处理服务 ODPS”服务开通时需要先实名认证，选择“登录支付宝快速认证”完成认证过程。认证后可以开通odps服务，默认是“按量付费”。开通后，需要先创建“ACCESS_KEY”，会生成一个ACCESS KEY ID和ACCESS...

版权声明：该系列文章（DW2.0下一代数据仓库架构）内容系作者学习用笔记，欢迎共同学习，所载内容版权归原书作（译）者所有，请勿转载商用。       几乎所有来自外部源的数据都是通过ETL处理传递到交互区的，虽然偶尔也直接传递到整合区。但是一些少见的情况下，我们也通过另一种方式传递...

版权声明：该系列文章（DW2.0下一代数据仓库架构）内容系作者学习用笔记，欢迎共同学习，所载内容版权归原书作（译）者所有，请勿转载商用。      DW2.0中最重要的过程之一是ETL--抽取/转换/装载的处理过程。ETL处理在数据进入交互区或者数据从交互区进入整合区时收集、整理并集成数据。ETL处理...

版权声明：该系列文章（DW2.0下一代数据仓库架构）内容系作者学习用笔记，欢迎共同学习，所载内容版权归原书作（译）者所有，请勿转载商用。      DW2.0架构包含许多组成部分，下一代DW2.0数据仓库也包含了许多技术。建立一个DW2.0数据仓库环境不像盖房子，也不想建立一个小镇更像建设一座大都...