首页 > > > 【R语言】:高级数据管理(1)
数学和统计函数
字符处理函数
循环和条件执行
自编函数
数据整合与重塑
从一个数据处理难题来引入数值和字符处理函数的讨论问题,如下图。

一组学生参加考试,考试科目分别为:数学、科学和英语。现在需要给学生确定单一的成绩衡量标准,首先将三门科目的成绩组合起来并排序,然后将前20%的学生评定为A,接下来20%的学生评定为B,依次类推。最后,将所有学生按照字母顺序进行排序并输出。
三个明显问题
一、数学函数


#绝对值
abs(x)
#平方根
sqrt(x)
#不小于x的最小整数
ceiling(x)
#不大于x的最大整数
floor(x)
#向0的方向截取x的整数部分
trunc(x)
#将x舍入为指定位的小数
round(x, digits=n)
#将x舍入为指定的有效数字位数
signif(x, digits=n)
#三角函数家族
cos(x)、sin(x)、tan(x)、acos(x)、asin(x)、atan(x)、cosh(x)、sinh(x)、tanh(x)、acosh(x)、asinh(x)、atanh(x)
#对x取以n为底的对数
log(x, base=n)
#对x取以e为底的对数
log(x)
#对x取以10为底的对数
log10(x)
#e的指数函数
exp(x)数值(数学、统计、概率)函数用在向量、矩阵、数据框时,单独用于其中每一个独立的值。
二、统计函数

#平均数
mean(x)
#中位数
median()
#标准差
sd(x)
#方差
var(x)
#绝对中位差
mad(x)
#求分位数,其中x为待求分位数的数值型向量,probs为一个由[0,1]之间的概率值组成的数值向量
quantile(x, probs)
#求值域
range(x)
#求和
sum(x)
#滞后差分
diff(x, lag=n)
#求最小值
min(x)
#求最大值
max(x)
#为数据对象x按列进行中心化或标准化
scale(x, center=TRUE, scale=TRUE)
许多统计函数都拥有可以影响输出结果的可选参数,比如下面这行代码:
#trim为截尾平均数,下面的代码表示去除最大5%和最小5%的数据(即异常值)和所有缺失值后的算术平均数
z <- mean(x, trim = 0.05, na.rm = TRUE)
#数值型向量
x <- c(1, 2, 3, 4, 5, 6, 7, 8)
#简单方法
#均值
mean(x)
[1] 4.5
#标准差
sd(x)
[1] 2.44949
#复杂方法
#计数,用length函数获得向量x的长度,即其中元素的个数
n <- length(x)
#用sum函数求和,除以元素个数,得到均值
meanx <- sum(x)/n
meanx
[1] 4.5
#计算样本校正平方和(corrected sum of squares,css),即每一个元素与均值之差的平方和
css <- sum((x-meanx)^2)
#除以n-1(注意!)后开算术平方,即标准差
sdx <- sqrt(css/(n-1))
sdx
[1] 2.44949
R语言中的函数sd()除以的是向量长度(元素数)n减去1,即n-1。
以下代码对矩阵或数据框的数值列进行均值为1、标准差为0的标准化:
newdata <- scale(mydata)
或者任意均值和标准差:
newdata <- scale(mydata)*SD+M
如果仅对指定列处理,则使用transform()函数:
newdata <- transform(mydata, myvar=scale(myvar)*SD+M)与统计函数类似,但通常用来生成特征已知的模拟数据,以及在用户编写的统计函数中计算概率值。常见的概率函数如下:

d: density #密度函数
p: distribution function #分布函数
q: quantile function #分位数函数
r: 生成随机数 #随机偏差以上图中的正态分布(norm)为例,如果不指定均值和标准差,将生成标准正态分布(即均值为0,标准差为1),相应的密度函数(dnorm)、分布函数(pnorm)、分位数函数(qnorm)和随机生成函数(rnorm)分别如下:
#函数pretty随后解释
x <- pretty(c(-3,3), 30)
#密度函数d
y <-dnorm(x)
#利用函数plot绘图
plot(x, y, type = "l", xlab = "NormalDeviate", ylab = "Density", yaxs = "i")
*注:函数pretty(x, N)的含义是对变量x进行美观分割,主要是将连续变量 x 分割为 N 个区间(N+1 个端点),并使端点为取整值,常常在绘图中使用。后面将提到。
运行代码后,得到下图

#位于z=1.96左侧的标准正态曲线下方面积?分布函数p
pnorm(1.96)
[1] 0.9750021
#均值为500,标准差为100正态分布的0.9分位点的值?分位数函数q
qnorm(.9, mean=500, sd=100)
[1] 628.1552
#生成50个均值为50,标准差为10的正态随机数?随机生成函数r
rnorm(50,mean=50,sd=10)

1、设置随机数种子
每次生成伪随机数时,函数都会使用一个不同的种子,因此会产生不同的结果。但实际中常常需要让随机结果重现(reproducible),为了实现结果重现可以通过函数set.seed()指定种子。
随机结果重现创建一些固定的随机示例数据,其目的主要是便于之后随时取用并与他人共享。

2、生成多元正态数据
MASS包中的函数mvrnorm()可以生成给定均值向量和协方差矩阵的多元正态分布,调用格式为:
mvrnorm(n, mean, sigma)
#其中n是样本大小,mean为均值向量,而sigma是方差-协方差矩阵(或相关矩阵)假设从如下所示的三元正态分布中抽取500个观测

代码如下:
#载入包MASS
library(MASS)
#设置小数位数为3
options(digits=3)
#设定随机数种子
set.seed(1234)
#指定均值
mean <- c(230.7, 146.7, 3.6)
#指定协方差
sigma <- matrix(c(15360.8, 6721.2, -47.1, 6721.2, 4700.9, -16.5, -47.1, -16.5, 0.3), nrow=3, ncol=3)
#生成500个随机观测数据
mydata <- mvrnorm(500, mean, sigma)
#将矩阵转为数据框
mydata <- as.data.frame(mydata)
#修改变量名称
names(mydata) <- c("y", "x1", "x2")
#确认数据框有500个观测,3个变量
dim(mydata)
[1] 500 3
#输入前10个观测
head(mydata, n=10)
y x1 x2
1 98.8 41.3 3.43
2 244.5 205.2 3.80
3 375.7 186.7 2.51
4 -59.2 11.2 4.71
5 313.0 111.0 3.45
6 288.8 185.1 2.72
7 134.8 165.0 4.39
8 171.7 97.4 3.64
9 167.2 101.0 3.50
10 121.1 94.5 4.10四、字符处理函数
数学函数、统计函数和概率函数用于处理数值型数据,而利用字符处理函数可以从文本型数据中抽取信息。

#计算x中的字符数量
nchar(x)
#提取或替换子串
substr(x, start, stop)
#在x中搜索某种模式,fixed=FALSE则pattern为一个正则表达式,否则pattern为一个文本字符串,返回值为匹配的下标
grep(pattern, x, ignore.case=FALSE, fixed=FALSE)
#在x中搜索某种模式(pattern)并以文本(replacement)替换;fixed=FALSE则pattern为一个正则表达式,否则pattern为一个文本字符串
sub(pattern, replacement, x, ignore.case=FALSE, fixed=FALSE)
#在split处分隔字符向量x中的元素;fixed=FALSE则pattern为一个正则表达式,否则pattern为一个文本字符串
strsplit(x, split, fixed=FALSE)
#连接字符串,分隔符为sep。paste("x", 1:3, sep="")返回值为c("x1", "x2", "x3"),paste("x", 1:3, sep="M")返回值为c("xM1", "xM2", "xM3");
paste(…, sep="")
#大写转换
toupper(x)
#小写转换
tolower(x)
^[hc]?at可匹配任意以0个或1个h或c开头、后接at的字符串。因此,此表达式可以匹配hat、cat和at,但 不会匹配bat。
五、其他实用函数
#得出x的长度
length(x)
#生成一个序列(等差数列),by为序列中相邻两个数值的差值。例如:abc_1 <- seq(1, 10, 2),那么abc_1的值就等于c(1, 3, 5, 7, 9)
seq(from, to, by)
#将x重复n次。例如:abc_2 <- rep(1:3, 2),那么abc_2的值就等于c(1, 2, 3, 1, 2, 3)
rep(x, n)
#将连续型变量x分割为n个水平的因子
cut(x ,n)
#通过选取n+1个等间距的取整值,将一个连续型变量分割为n个区间,绘图中常用
pretty(x, n)
还有一个重要的实用函数,函数cat(),详细情况如下:
cat(... , file = "", sep = " ", fill = FALSE, labels = NULL, append = FALSE)
#该函数是一个输出函数
#函数cat()可以将很多参数连接起来输出,但每两个连接起来的参数之间都自动加上空格
#file表示可以存储到一个文件中,后面的append为FALSE表示覆盖,为TRUE表示添加
#sep是一个字符向量,跟在连接元素的后面
#fill控制是否打印空行,如果为FALSE,则碰到'\n'才会打印,若为TRUE,则根据默认宽度换行#labels当fill为TRUE时才有意义,是打印出的行的名称
#举例
name <- "Chuck"
cat("Hello", name, "\b.\n", "isn\'t R", "\t", "Great?\n")
*注1:例子中用到了多种转义字符:\b表示键盘中Backspace的功能——退格,\n表示键盘中回车的功能——另起一行,\t表示键盘中Tab的功能——制表符,\'表示单引号。
*注2:第二行缩进了一个空格。当 函数cat() 输出连接后的对象时,会将每一个对象都用空格分开,这就是在句号之前使用退格转义字符\b的原因。否则代码运行的结果将变为


在R中,函数可以应用到一系列数据对象上,包括标量、向量、矩阵、数组和数据框。举例如下:
a <- 5
#标量a开平方
sqrt(a)
[1] 2.236068
b <- c(1.243, 5.654, 2.99)
#向量b四舍五入
round(b)
[1] 1 6 3
#均匀分布随机函数runif生成3行4列包含12个元素的矩阵c
c <- matrix(runif(12), nrow=3)
c
[,1] [,2] [,3] [,4]
[1,] 0.8502285 0.3205902 0.4735179 0.57984932
[2,] 0.6882817 0.5530543 0.9159749 0.20183367
[3,] 0.2897976 0.6948538 0.8721383 0.01076636
#求矩阵c中每个元素以e为底的对数
log(c)
[,1] [,2] [,3] [,4]
[1,] -0.1622502 -1.1375915 -0.74756556 -0.544987
[2,] -0.3735571 -0.5922990 -0.08776628 -1.600311
[3,] -1.2385725 -0.3640538 -0.13680732 -4.531329
#求矩阵c中全部12个元素的均值
mean(c)
[1] 0.5375739
最后一行代码中使用函数mean()得到的是矩阵c中全部12个元素的均值。
如果希望求的是各行的均值或各列的均值应该怎么办呢?
利用函数apply()可以将其他函数应用于矩阵的各行或者各列
apply(x, MARGIN, FUN, ...)
其中,x 为数据对象,MARGIN是维度的下标,FUN是应用于x的各类R语言函数(甚至包括自己定义的函数),而...是指任何想改变FUN的参数。如果x是矩阵或数据框, 那么MARGIN=1表示矩阵或数据框的行,MARGIN=2表示矩阵或数据框的列。
#随机正态分布函数rnorm生成6行5列包含30个元素的矩阵
mydata <- matrix(rnorm(30), nrow=6)
mydata
[,1] [,2] [,3] [,4] [,5]
[1,] -0.359730454 0.1580746 -0.2247555 1.81043126 -1.71886714
[2,] 0.007548842 -0.6441521 1.0880323 0.59476640 1.36382067
[3,] 0.838016390 0.7017135 0.4732545 -0.84646077 1.23722557
[4,] -0.478644786 -0.5118711 -1.8253375 -0.13893854 -0.14228245
[5,] 0.366390647 0.9901839 -0.1696672 -0.02513862 1.71311321
[6,] 0.372353623 0.7283151 0.1902186 1.39927518 -0.08743794
#计算矩阵mydata每一行的均值,MARGIN=1表示矩阵或数据框的行
apply(mydata, 1, mean)
[1] -0.06696945 0.48200323 0.48074984 -0.61941487 0.57497639 0.52054490
#计算矩阵mydata每一列的均值,MARGIN=1表示矩阵或数据框的列
apply(mydata, 2, mean)
[1] 0.12432238 0.23704397 -0.07804244 0.46565582 0.39426199
#参数trim=0.2表示去除最大20%和最小20%的异常值,即截尾均值仅选择了中间60%的数据
apply(mydata, 2, mean, trim=0.2)
[1] 0.09664066 0.26905801 0.06726262 0.45749110 0.59283146 函数apply()可把函数应用到数组的某个维度上,而函数lapply()和函数sapply() 则可将函数应用到列表(list)上,后续的内容应该会经常遇到。
由函数apply()衍生出了一系列函数,被称为函数apply()家族,更多详细信息在R语言 apply函数家族详解_数据科学家快报_新浪博客中查看。另外,在【R语言】:简单数据处理分析中可以查看函数apply()家族中函数tapply()详细的实际案例。
options(digits=2)
Student <- c("John Davis", "Angela Williams", "Bullwinkle Moose", "David Jones", "Janice Markhammer", "Cheryl Cushing", "Reuven Ytzrhak", "Greg Knox", "Joel England", "Mary Rayburn")
Math <- c(502, 600, 412, 358, 495, 512, 410, 625, 573, 522)
Science <- c(95, 99, 80, 82, 75, 85, 80, 95, 89, 86)
English <- c(25, 22, 18, 15, 20, 28, 15, 30, 27, 18)
roster <- data.frame(Student, Math, Science, English, stringsAsFactors=FALSE)
z <- scale(roster[,2:4])
score <- apply(z, 1, mean)
roster <- cbind(roster, score)
y <- quantile(score, c(.8, .6, .4, .2))
roster$grade[score >= y[1]] <- "A"
roster$grade[score < y[1] & score >= y[2]] <- "B"
roster$grade[score < y[2] & score >= y[3]] <- "C"
roster$grade[score < y[3] & score >= y[4]] <- "D"
roster$grade[score < y[4]] <- "E"
name <- strsplit((roster$Student), " ")
Lastname <- sapply(name, "[", 2)
Firstname <- sapply(name, "[", 1)
roster <- cbind(Firstname, Lastname, roster[,-1])
roster <- roster[order(Lastname, Firstname),]
运行代码后,查看roster,可得到如下结果

一、利用函数options()设置为小数点后保留两位小数,使输出更易阅读。
options(digits=2)二、输入原始数据,并构建数据框
#建立姓名列向量
Student <- c("John Davis", "Angela Williams", "Bullwinkle Moose", "David Jones", "Janice Markhammer", "Cheryl Cushing", "Reuven Ytzrhak", "Greg Knox", "Joel England", "Mary Rayburn")
#建立数学、科学、英语成绩列向量
Math <- c(502, 600, 412, 358, 495, 512, 410, 625, 573, 522)
Science <- c(95, 99, 80, 82, 75, 85, 80, 95, 89, 86)
English <- c(25, 22, 18, 15, 20, 28, 15, 30, 27, 18)
#建立数据框roster
roster <- data.frame(Student, Math, Science, English, stringsAsFactors=FALSE)
三、由于数学、科学和英语成绩的均值和标准差相差实在太大,在组合之前需要将三者变得可比较——将三者的列向量标准化,用单位标准差来表示。
#利用函数scale()对数据框中的数学、科学、英文成绩列向量(第2列到第4列)进行均值为1、标准差为0的标准化
z <- scale(roster[,2:4])
z
Math Science English
[1,] 0.013 1.078 0.587
[2,] 1.143 1.591 0.037
[3,] -1.026 -0.847 -0.697
[4,] -1.649 -0.590 -1.247
[5,] -0.068 -1.489 -0.330
[6,] 0.128 -0.205 1.137
[7,] -1.049 -0.847 -1.247
[8,] 1.432 1.078 1.504
[9,] 0.832 0.308 0.954
[10,] 0.243 -0.077 -0.697
#计算数据框z中每一行的均值,建立列向量score
score <- apply(z, 1, mean)
score
[1] 0.56 0.92 -0.86 -1.16 -0.63 0.35 -1.05 1.34 0.70 -0.18
#将综合得分score添加到数据框roster
roster <- cbind(roster, score)
roster
Student Math Science English score
1 John Davis 502 95 25 0.56
2 Angela Williams 600 99 22 0.92
3 Bullwinkle Moose 412 80 18 -0.86
4 David Jones 358 82 15 -1.16
5 Janice Markhammer 495 75 20 -0.63
6 Cheryl Cushing 512 85 28 0.35
7 Reuven Ytzrhak 410 80 15 -1.05
8 Greg Knox 625 95 30 1.34
9 Joel England 573 89 27 0.70
10 Mary Rayburn 522 86 18 -0.18
五、利用函数quantile()可以得到综合得分score的分位数(是指将一个随机变量的概率分布范围分为几个等份的数值点,常用的有中位数——即二分位数、四分位数、百分位数等)
#按照0.2或20%作为分界点
y <- quantile(roster$score, c(0.8, 0.6, 0.4, 0.2))
y
80% 60% 40% 20%
0.74 0.44 -0.36 -0.89
#大于等于前80%分数记为A等,并且赋值给数据框roster中的新变量grade(下同)。
roster$grade[score >= y[1]] <- "A"
#小于前80%、大于等于前60%分数记为B等
roster$grade[score < y[1] & score >= y[2]] <- "B"
#小于前60%、大于等于前40%分数记为C等
roster$grade[score < y[2] & score >= y[3]] <- "C"
#小于前40%、大于等于前20%分数记为D等
roster$grade[score < y[3] & score >= y[4]] <- "D"
#小于前20%的分数记为E等
roster$grade[score < y[4]] <- "E"
roster
Student Math Science English score grade
1 John Davis 502 95 25 0.56 B
2 Angela Williams 600 99 22 0.92 A
3 Bullwinkle Moose 412 80 18 -0.86 D
4 David Jones 358 82 15 -1.16 E
5 Janice Markhammer 495 75 20 -0.63 D
6 Cheryl Cushing 512 85 28 0.35 C
7 Reuven Ytzrhak 410 80 15 -1.05 E
8 Greg Knox 625 95 30 1.34 A
9 Joel England 573 89 27 0.70 B
10 Mary Rayburn 522 86 18 -0.18 C七、利用函数strsplit()以空格为拆分点把学生姓名拆分为两个向量——名(Firstname)和姓(Lastname),注意利用函数strsplit()拆分后得到的字符串向量将返回为一个列表(list)。
#默认为fixed=FALSE,即正则表达式匹配,因此建议需要用字符串拆分时务必设置fixed选项为TRUE,避免引起不必要的麻烦。
name <- strsplit((roster$Student), " ", fixed = TRUE)
name
[[1]]
[1] "John" "Davis"
[[2]]
[1] "Angela" "Williams"
[[3]]
[1] "Bullwinkle" "Moose"
[[4]]
[1] "David" "Jones"
[[5]]
[1] "Janice" "Markhammer"
[[6]]
[1] "Cheryl" "Cushing"
[[7]]
[1] "Reuven" "Ytzrhak"
[[8]]
[1] "Greg" "Knox"
[[9]]
[1] "Joel" "England"
[[10]]
[1] "Mary" "Rayburn"
八、然而我们仅仅需要的是列表(list)中的向量,因此接下来马上要做的就是去列表化,将列表转化为名(Firstname)和姓(Lastname)两个向量。
利用函数sapply()可以分别提取列表中每个成分的第一个元素和第二个元素并储存,用同时应用是函数“[”,该函数可以提取某个对象的一部分——可以用来提取列表 name 各成分中的第一个或第二个元素。
Lastname <- sapply(name, "[", 2)
Firstname <- sapply(name, "[", 1)九、利用函数cbind()添加名(Firstname)和姓(Lastname)两个向量到数据框roster,并且删除向量student(在下标中用-1确定)
roster <- cbind(Firstname, Lastname, roster[,-1])
roster
Firstname Lastname Math Science English score grade
1 John Davis 502 95 25 0.56 B
2 Angela Williams 600 99 22 0.92 A
3 Bullwinkle Moose 412 80 18 -0.86 D
4 David Jones 358 82 15 -1.16 E
5 Janice Markhammer 495 75 20 -0.63 D
6 Cheryl Cushing 512 85 28 0.35 C
7 Reuven Ytzrhak 410 80 15 -1.05 E
8 Greg Knox 625 95 30 1.34 A
9 Joel England 573 89 27 0.70 B
10 Mary Rayburn 522 86 18 -0.18 C
roster <- roster[order(Lastname, Firstname),]
roster
Firstname Lastname Math Science English score grade
6 Cheryl Cushing 512 85 28 0.35 C
1 John Davis 502 95 25 0.56 B
9 Joel England 573 89 27 0.70 B
4 David Jones 358 82 15 -1.16 E
8 Greg Knox 625 95 30 1.34 A
5 Janice Markhammer 495 75 20 -0.63 D
3 Bullwinkle Moose 412 80 18 -0.86 D
10 Mary Rayburn 522 86 18 -0.18 C
2 Angela Williams 600 99 22 0.92 A
7 Reuven Ytzrhak 410 80 15 -1.05 E
至此,开头的难题被顺利解决。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31537575/viewspace-3122799/ ,如需转载,请注明出处,否则将追究法律责任。