ITPub博客

首页 > > > 【R语言】:高级数据管理(1)

【R语言】:高级数据管理(1)

作者:浪花小雨滴 时间:2020-06-17 10:33:09 0 删除 编辑
数学和统计函数
字符处理函数
循环和条件执行
自编函数
数据整合与重塑

一个数据处理难题

从一个数据处理难题来引入数值和字符处理函数的讨论问题,如下图。

一组学生参加考试,考试科目分别为:数学、科学和英语。现在需要给学生确定单一的成绩衡量标准,首先将三门科目的成绩组合起来并排序,然后将前20%的学生评定为A,接下来20%的学生评定为B,依次类推。最后,将所有学生按照字母顺序进行排序并输出。


三个明显问题

  • 从上图中可以看出,数学、科学、英语三科的均值和标准差均相去甚远,求平均值没有意义。因此,将三门学科成绩组合之前,必须将三科成绩进行转换,变为可比较的。
  • 将三门学科成绩组合之后,确定统一的标准评定学生排名。
  • 姓名的字段只有一个,按照姓名排序将变得复杂,因此需要将姓和名分开。

数值和字符处理函数

R语言中数据处理最重要的函数:数值(数学、统计、概率)函数和字符处理函数。

一、数学函数

#绝对值
abs(x)

#平方根
sqrt(x)

#不小于x的最小整数
ceiling(x)

#不大于x的最大整数
floor(x)

#向0的方向截取x的整数部分
trunc(x)

#将x舍入为指定位的小数
round(x, digits=n)

#将x舍入为指定的有效数字位数
signif(x, digits=n)

#三角函数家族
cos(x)、sin(x)、tan(x)、acos(x)、asin(x)、atan(x)、cosh(x)、sinh(x)、tanh(x)、acosh(x)、asinh(x)、atanh(x)

#对x取以n为底的对数
log(x, base=n)

#对x取以e为底的对数
log(x)

#对x取以10为底的对数
log10(x)

#e的指数函数
exp(x)

数值(数学、统计、概率)函数用在向量、矩阵、数据框时,单独用于其中每一个独立的值。

二、统计函数

#平均数
mean(x)

#中位数
median()

#标准差
sd(x)

#方差
var(x)

#绝对中位差
mad(x)

#求分位数,其中x为待求分位数的数值型向量,probs为一个由[0,1]之间的概率值组成的数值向量
quantile(x, probs)

#求值域
range(x)

#求和
sum(x)

#滞后差分
diff(x, lag=n)

#求最小值
min(x)

#求最大值
max(x)

#为数据对象x按列进行中心化或标准化
scale(x, center=TRUE, scale=TRUE)

许多统计函数都拥有可以影响输出结果的可选参数,比如下面这行代码:

#trim为截尾平均数,下面的代码表示去除最大5%和最小5%的数据(即异常值)和所有缺失值后的算术平均数
z <- mean(x, trim = 0.05, na.rm = TRUE)
计算某一数值向量的均值和标准差,有两种不同的方法,详见以下代码:
#数值型向量
x <- c(1, 2, 3, 4, 5, 6, 7, 8)

#简单方法
#均值
mean(x)
[1] 4.5
#标准差
sd(x)
[1] 2.44949

#复杂方法
#计数,用length函数获得向量x的长度,即其中元素的个数
n <- length(x)
#用sum函数求和,除以元素个数,得到均值
meanx <- sum(x)/n
meanx
[1] 4.5
#计算样本校正平方和(corrected sum of squares,css),即每一个元素与均值之差的平方和
css <- sum((x-meanx)^2)
#除以n-1(注意!)后开算术平方,即标准差
sdx <- sqrt(css/(n-1))
sdx
[1] 2.44949

R语言中的函数sd()除以的是向量长度(元素数)n减去1,即n-1。

以下代码对矩阵或数据框的数值列进行均值为1、标准差为0的标准化:

newdata <- scale(mydata)

或者任意均值和标准差:


newdata <- scale(mydata)*SD+M

如果仅对指定列处理,则使用transform()函数:

newdata <- transform(mydata, myvar=scale(myvar)*SD+M)
三、概率函数

与统计函数类似,但通常用来生成特征已知的模拟数据,以及在用户编写的统计函数中计算概率值。常见的概率函数如下:

R语言中所有的概率函数均对应四个具体函数:d(密度函数)、p(分布函数)、q(分位数函数)和r(生成随机数)。

d: density #密度函数
p: distribution function #分布函数
q: quantile function #分位数函数
r: 生成随机数 #随机偏差

以上图中的正态分布(norm)为例,如果不指定均值和标准差,将生成标准正态分布(即均值为0,标准差为1),相应的密度函数(dnorm)、分布函数(pnorm)、分位数函数(qnorm)和随机生成函数(rnorm)分别如下:

#函数pretty随后解释
x <- pretty(c(-3,3), 30)

#密度函数d
y <-dnorm(x)

#利用函数plot绘图
plot(x, y, type = "l", xlab = "NormalDeviate", ylab = "Density", yaxs = "i")

*注:函数pretty(x, N)的含义是对变量x进行美观分割,主要是将连续变量 x 分割为 N 个区间(N+1 个端点),并使端点为取整值,常常在绘图中使用。后面将提到。

运行代码后,得到下图

#位于z=1.96左侧的标准正态曲线下方面积?分布函数p
pnorm(1.96)
[1] 0.9750021

#均值为500,标准差为100正态分布的0.9分位点的值?分位数函数q
qnorm(.9, mean=500, sd=100)
[1] 628.1552

#生成50个均值为50,标准差为10的正态随机数?随机生成函数r
rnorm(50,mean=50,sd=10)

1、设置随机数种子

每次生成伪随机数时,函数都会使用一个不同的种子,因此会产生不同的结果。但实际中常常需要让随机结果重现(reproducible),为了实现结果重现可以通过函数set.seed()指定种子。

随机结果重现创建一些固定的随机示例数据,其目的主要是便于之后随时取用并与他人共享。


以下用均匀分布函数unif()生成在0-1区间服从均匀分布的伪随机数来举例:

函数set.seed()后的数字可以自己随意设置,随机数种子相当于锚定。

2、生成多元正态数据

MASS包中的函数mvrnorm()可以生成给定均值向量和协方差矩阵的多元正态分布,调用格式为:

mvrnorm(n, mean, sigma)
#其中n是样本大小,mean为均值向量,而sigma是方差-协方差矩阵(或相关矩阵)

假设从如下所示的三元正态分布中抽取500个观测

代码如下:

#载入包MASS
library(MASS)

#设置小数位数为3
options(digits=3)

#设定随机数种子
set.seed(1234)

#指定均值
mean <- c(230.7, 146.7, 3.6)

#指定协方差
sigma <- matrix(c(15360.8, 6721.2, -47.1, 6721.2, 4700.9, -16.5, -47.1, -16.5, 0.3), nrow=3, ncol=3)

#生成500个随机观测数据
mydata <- mvrnorm(500, mean, sigma)

#将矩阵转为数据框
mydata <- as.data.frame(mydata)

#修改变量名称
names(mydata) <- c("y", "x1", "x2")

#确认数据框有500个观测,3个变量
dim(mydata)
[1] 500   3

#输入前10个观测
head(mydata, n=10)
      y    x1   x2
1   98.8  41.3 3.43
2  244.5 205.2 3.80
3  375.7 186.7 2.51
4  -59.2  11.2 4.71
5  313.0 111.0 3.45
6  288.8 185.1 2.72
7  134.8 165.0 4.39
8  171.7  97.4 3.64
9  167.2 101.0 3.50
10 121.1  94.5 4.10

四、字符处理函数


数学函数、统计函数和概率函数用于处理数值型数据,而利用字符处理函数可以从文本型数据中抽取信息。

#计算x中的字符数量
nchar(x)

#提取或替换子串
substr(x, start, stop)

#在x中搜索某种模式,fixed=FALSE则pattern为一个正则表达式,否则pattern为一个文本字符串,返回值为匹配的下标
grep(pattern, x, ignore.case=FALSE, fixed=FALSE)

#在x中搜索某种模式(pattern)并以文本(replacement)替换;fixed=FALSE则pattern为一个正则表达式,否则pattern为一个文本字符串
sub(pattern, replacement, x, ignore.case=FALSE, fixed=FALSE)

#在split处分隔字符向量x中的元素;fixed=FALSE则pattern为一个正则表达式,否则pattern为一个文本字符串
strsplit(x, split, fixed=FALSE)

#连接字符串,分隔符为sep。paste("x", 1:3, sep="")返回值为c("x1", "x2", "x3"),paste("x", 1:3, sep="M")返回值为c("xM1", "xM2", "xM3");
paste(…, sep="")

#大写转换
toupper(x)

#小写转换
tolower(x)
*注:函数grep()、函数sub()和函数strsplit()能够搜索某个文本字符串(fixed=TRUE)或某个正则表达式(fixed=FALSE, 默认值为FALSE)。正则表达式为文本模式的匹配提供了一套清晰而简练的语法。例如:
^[hc]?at

可匹配任意以0个或1个h或c开头、后接at的字符串。因此,此表达式可以匹配hat、cat和at,但 不会匹配bat。

更多关于正则表达式的内容,可以参考维基百科(中文、英文)。

五、其他实用函数


#得出x的长度
length(x)

#生成一个序列(等差数列),by为序列中相邻两个数值的差值。例如:abc_1 <- seq(1, 10, 2),那么abc_1的值就等于c(1, 3, 5, 7, 9)
seq(from, to, by)

#将x重复n次。例如:abc_2 <- rep(1:3, 2),那么abc_2的值就等于c(1, 2, 3, 1, 2, 3)
rep(x, n)

#将连续型变量x分割为n个水平的因子
cut(x ,n)

#通过选取n+1个等间距的取整值,将一个连续型变量分割为n个区间,绘图中常用
pretty(x, n)
关于函数cut()更多内容,详见【R语言】:基本数据管理(1)

还有一个重要的实用函数,函数cat(),详细情况如下:

cat(... , file = "", sep = " ", fill = FALSE, labels = NULL, append = FALSE)
#该函数是一个输出函数
#函数cat()可以将很多参数连接起来输出,但每两个连接起来的参数之间都自动加上空格
#file表示可以存储到一个文件中,后面的append为FALSE表示覆盖,为TRUE表示添加
#sep是一个字符向量,跟在连接元素的后面
#fill控制是否打印空行,如果为FALSE,则碰到'\n'才会打印,若为TRUE,则根据默认宽度换行#labels当fill为TRUE时才有意义,是打印出的行的名称

#举例
name <- "Chuck"
cat("Hello", name, "\b.\n", "isn\'t R", "\t", "Great?\n")
运行代码,得到下图

*注1:例子中用到了多种转义字符:\b表示键盘中Backspace的功能——退格,\n表示键盘中回车的功能——另起一行,\t表示键盘中Tab的功能——制表符,\'表示单引号。


*注2:第二行缩进了一个空格。当 函数cat() 输出连接后的对象时,会将每一个对象都用空格分开,这就是在句号之前使用退格转义字符\b的原因。否则代码运行的结果将变为

句号前面多了一个空格。同样的,如果要删除第二行的缩进应在"isn\'t R"之前增加退格转义字符\b。

六、将函数应用于矩阵和数据框

在R中,函数可以应用到一系列数据对象上,包括标量、向量、矩阵、数组和数据框。举例如下:

a <- 5
#标量a开平方
sqrt(a)
[1] 2.236068

b <- c(1.243, 5.654, 2.99)
#向量b四舍五入
round(b)
[1] 1 6 3

#均匀分布随机函数runif生成3行4列包含12个元素的矩阵c
c <- matrix(runif(12), nrow=3)
c
          [,1]      [,2]      [,3]       [,4]
[1,] 0.8502285 0.3205902 0.4735179 0.57984932
[2,] 0.6882817 0.5530543 0.9159749 0.20183367
[3,] 0.2897976 0.6948538 0.8721383 0.01076636

#求矩阵c中每个元素以e为底的对数
log(c)
           [,1]       [,2]        [,3]      [,4]
[1,] -0.1622502 -1.1375915 -0.74756556 -0.544987
[2,] -0.3735571 -0.5922990 -0.08776628 -1.600311
[3,] -1.2385725 -0.3640538 -0.13680732 -4.531329

#求矩阵c中全部12个元素的均值
mean(c)
[1] 0.5375739

最后一行代码中使用函数mean()得到的是矩阵c中全部12个元素的均值。

如果希望求的是各行的均值或各列的均值应该怎么办呢?

利用函数apply()可以将其他函数应用于矩阵的各行或者各列

apply(x, MARGIN, FUN, ...)

其中,x 为数据对象,MARGIN是维度的下标,FUN是应用于x的各类R语言函数(甚至包括自己定义的函数),而...是指任何想改变FUN的参数。如果x是矩阵或数据框, 那么MARGIN=1表示矩阵或数据框的行,MARGIN=2表示矩阵或数据框的列。

#随机正态分布函数rnorm生成6行5列包含30个元素的矩阵
mydata <- matrix(rnorm(30), nrow=6)
mydata
             [,1]       [,2]       [,3]        [,4]        [,5]
[1,] -0.359730454  0.1580746 -0.2247555  1.81043126 -1.71886714
[2,]  0.007548842 -0.6441521  1.0880323  0.59476640  1.36382067
[3,]  0.838016390  0.7017135  0.4732545 -0.84646077  1.23722557
[4,] -0.478644786 -0.5118711 -1.8253375 -0.13893854 -0.14228245
[5,]  0.366390647  0.9901839 -0.1696672 -0.02513862  1.71311321
[6,]  0.372353623  0.7283151  0.1902186  1.39927518 -0.08743794

#计算矩阵mydata每一行的均值,MARGIN=1表示矩阵或数据框的行
apply(mydata, 1, mean)
[1] -0.06696945  0.48200323  0.48074984 -0.61941487  0.57497639  0.52054490

#计算矩阵mydata每一列的均值,MARGIN=1表示矩阵或数据框的列
apply(mydata, 2, mean)
[1]  0.12432238  0.23704397 -0.07804244  0.46565582  0.39426199

#参数trim=0.2表示去除最大20%和最小20%的异常值,即截尾均值仅选择了中间60%的数据
apply(mydata, 2, mean, trim=0.2) 
[1] 0.09664066 0.26905801 0.06726262 0.45749110 0.59283146 

函数apply()可把函数应用到数组的某个维度上,而函数lapply()和函数sapply() 则可将函数应用到列表(list)上,后续的内容应该会经常遇到。

由函数apply()衍生出了一系列函数,被称为函数apply()家族,更多详细信息在R语言 apply函数家族详解_数据科学家快报_新浪博客中查看。另外,在【R语言】:简单数据处理分析中可以查看函数apply()家族中函数tapply()详细的实际案例。


数据处理难题的一套解决方案

现在看一下开头提出的问题:将学生的各科考试成绩组合为单一的成绩衡量指标进行排名、基于相对名次(以20%为区间标准)给出分段评分、根据学生姓氏和名字的首字母排序。以下代码提供了一套解决方案:
options(digits=2)

Student <- c("John Davis", "Angela Williams", "Bullwinkle Moose", "David Jones", "Janice Markhammer", "Cheryl Cushing", "Reuven Ytzrhak", "Greg Knox", "Joel England", "Mary Rayburn")
Math <- c(502, 600, 412, 358, 495, 512, 410, 625, 573, 522)
Science <- c(95, 99, 80, 82, 75, 85, 80, 95, 89, 86)
English <- c(25, 22, 18, 15, 20, 28, 15, 30, 27, 18)
roster <- data.frame(Student, Math, Science, English, stringsAsFactors=FALSE)

z <- scale(roster[,2:4])
score <- apply(z, 1, mean)
roster <- cbind(roster, score)
y <- quantile(score, c(.8, .6, .4, .2))

roster$grade[score >= y[1]] <- "A"
roster$grade[score < y[1] & score >= y[2]] <- "B"
roster$grade[score < y[2] & score >= y[3]] <- "C"
roster$grade[score < y[3] & score >= y[4]] <- "D"
roster$grade[score < y[4]] <- "E"

name <- strsplit((roster$Student), " ")
Lastname <- sapply(name, "[", 2)
Firstname <- sapply(name, "[", 1)
roster <- cbind(Firstname, Lastname, roster[,-1])

roster <- roster[order(Lastname, Firstname),]

运行代码后,查看roster,可得到如下结果

以上代码的分步骤解读:

一、利用函数options()设置为小数点后保留两位小数,使输出更易阅读。

options(digits=2)

二、输入原始数据,并构建数据框

#建立姓名列向量
Student <- c("John Davis", "Angela Williams", "Bullwinkle Moose", "David Jones", "Janice Markhammer", "Cheryl Cushing", "Reuven Ytzrhak", "Greg Knox", "Joel England", "Mary Rayburn")

#建立数学、科学、英语成绩列向量
Math <- c(502, 600, 412, 358, 495, 512, 410, 625, 573, 522)
Science <- c(95, 99, 80, 82, 75, 85, 80, 95, 89, 86)
English <- c(25, 22, 18, 15, 20, 28, 15, 30, 27, 18)

#建立数据框roster
roster <- data.frame(Student, Math, Science, English, stringsAsFactors=FALSE)

三、由于数学、科学和英语成绩的均值和标准差相差实在太大,在组合之前需要将三者变得可比较——将三者的列向量标准化,用单位标准差来表示。


#利用函数scale()对数据框中的数学、科学、英文成绩列向量(第2列到第4列)进行均值为1、标准差为0的标准化
z <- scale(roster[,2:4])
z
        Math Science English
 [1,]  0.013   1.078   0.587
 [2,]  1.143   1.591   0.037
 [3,] -1.026  -0.847  -0.697
 [4,] -1.649  -0.590  -1.247
 [5,] -0.068  -1.489  -0.330
 [6,]  0.128  -0.205   1.137
 [7,] -1.049  -0.847  -1.247
 [8,]  1.432   1.078   1.504
 [9,]  0.832   0.308   0.954
[10,]  0.243  -0.077  -0.697
四、利用函数apply()将函数mean()应用到数据框z计算每一行的均值,获得三门学科的综合得分,并用函数cbind()将综合得分添加到数据框roster中
#计算数据框z中每一行的均值,建立列向量score
score <- apply(z, 1, mean)
score
[1]  0.56  0.92 -0.86 -1.16 -0.63  0.35 -1.05  1.34  0.70 -0.18

#将综合得分score添加到数据框roster
roster <- cbind(roster, score)
roster
             Student Math Science English score
1         John Davis  502      95      25  0.56
2    Angela Williams  600      99      22  0.92
3   Bullwinkle Moose  412      80      18 -0.86
4        David Jones  358      82      15 -1.16
5  Janice Markhammer  495      75      20 -0.63
6     Cheryl Cushing  512      85      28  0.35
7     Reuven Ytzrhak  410      80      15 -1.05
8          Greg Knox  625      95      30  1.34
9       Joel England  573      89      27  0.70
10      Mary Rayburn  522      86      18 -0.18

五、利用函数quantile()可以得到综合得分score的分位数(是指将一个随机变量的概率分布范围分为几个等份的数值点,常用的有中位数——即二分位数、四分位数、百分位数等)

#按照0.2或20%作为分界点
y <- quantile(roster$score, c(0.8, 0.6, 0.4, 0.2))
y
  80%   60%   40%   20% 
 0.74  0.44 -0.36 -0.89 
六、通过逻辑运算符,将综合得分的分位数变量重新转换为包括五种成绩等级的变量,并且将该变量直接并入数据框roster
#大于等于前80%分数记为A等,并且赋值给数据框roster中的新变量grade(下同)。
roster$grade[score >= y[1]] <- "A"

#小于前80%、大于等于前60%分数记为B等
roster$grade[score < y[1] & score >= y[2]] <- "B"

#小于前60%、大于等于前40%分数记为C等
roster$grade[score < y[2] & score >= y[3]] <- "C"

#小于前40%、大于等于前20%分数记为D等
roster$grade[score < y[3] & score >= y[4]] <- "D"

#小于前20%的分数记为E等
roster$grade[score < y[4]] <- "E"

roster
             Student Math Science English score grade
1         John Davis  502      95      25  0.56     B
2    Angela Williams  600      99      22  0.92     A
3   Bullwinkle Moose  412      80      18 -0.86     D
4        David Jones  358      82      15 -1.16     E
5  Janice Markhammer  495      75      20 -0.63     D
6     Cheryl Cushing  512      85      28  0.35     C
7     Reuven Ytzrhak  410      80      15 -1.05     E
8          Greg Knox  625      95      30  1.34     A
9       Joel England  573      89      27  0.70     B
10      Mary Rayburn  522      86      18 -0.18     C

七、利用函数strsplit()以空格为拆分点把学生姓名拆分为两个向量——名(Firstname)和姓(Lastname),注意利用函数strsplit()拆分后得到的字符串向量将返回为一个列表(list)。

#默认为fixed=FALSE,即正则表达式匹配,因此建议需要用字符串拆分时务必设置fixed选项为TRUE,避免引起不必要的麻烦。
name <- strsplit((roster$Student), " ", fixed = TRUE)
name
[[1]]
[1] "John"  "Davis"

[[2]]
[1] "Angela"   "Williams"

[[3]]
[1] "Bullwinkle" "Moose"     

[[4]]
[1] "David" "Jones"

[[5]]
[1] "Janice"     "Markhammer"

[[6]]
[1] "Cheryl"  "Cushing"

[[7]]
[1] "Reuven"  "Ytzrhak"

[[8]]
[1] "Greg" "Knox"

[[9]]
[1] "Joel"    "England"

[[10]]
[1] "Mary"    "Rayburn"

八、然而我们仅仅需要的是列表(list)中的向量,因此接下来马上要做的就是去列表化,将列表转化为名(Firstname)和姓(Lastname)两个向量。

利用函数sapply()可以分别提取列表中每个成分的第一个元素和第二个元素并储存,用同时应用是函数“[”,该函数可以提取某个对象的一部分——可以用来提取列表 name 各成分中的第一个或第二个元素。

Lastname <- sapply(name, "[", 2)
Firstname <- sapply(name, "[", 1)

九、利用函数cbind()添加名(Firstname)和姓(Lastname)两个向量到数据框roster,并且删除向量student(在下标中用-1确定)

roster <- cbind(Firstname, Lastname, roster[,-1])
roster
    Firstname   Lastname Math Science English score grade
1        John      Davis  502      95      25  0.56     B
2      Angela   Williams  600      99      22  0.92     A
3  Bullwinkle      Moose  412      80      18 -0.86     D
4       David      Jones  358      82      15 -1.16     E
5      Janice Markhammer  495      75      20 -0.63     D
6      Cheryl    Cushing  512      85      28  0.35     C
7      Reuven    Ytzrhak  410      80      15 -1.05     E
8        Greg       Knox  625      95      30  1.34     A
9        Joel    England  573      89      27  0.70     B
10       Mary    Rayburn  522      86      18 -0.18     C
十、利用函数order()依次按照先姓(Lastname)后名(Firstname)对数据框排序
roster <- roster[order(Lastname, Firstname),]
roster
    Firstname   Lastname Math Science English score grade
6      Cheryl    Cushing  512      85      28  0.35     C
1        John      Davis  502      95      25  0.56     B
9        Joel    England  573      89      27  0.70     B
4       David      Jones  358      82      15 -1.16     E
8        Greg       Knox  625      95      30  1.34     A
5      Janice Markhammer  495      75      20 -0.63     D
3  Bullwinkle      Moose  412      80      18 -0.86     D
10       Mary    Rayburn  522      86      18 -0.18     C
2      Angela   Williams  600      99      22  0.92     A
7      Reuven    Ytzrhak  410      80      15 -1.05     E

至此,开头的难题被顺利解决。

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31537575/viewspace-3122799/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-05-16

  • 博文量
    4259
  • 访问量
    46332