ITPub博客

首页 > > > tidyft高性能数据操作

tidyft高性能数据操作

作者:浪花小雨滴 时间:2020-04-10 19:20:27 0 删除 编辑

作者:黄天元,复旦大学博士在读,热爱数据科学与开源工具(R),致力于利用数据科学迅速积累行业经验优势和科学知识发现,涉猎内容包括但不限于信息计量、机器学习、数据可视化、应用统计建模、知识图谱等,著有《R语言数据高效处理指南》。知乎专栏:R语言数据挖掘。邮箱:huang.tian-yuan@qq.com.欢迎合作交流。


tidyft今天过审了,已经可以在CRAN直接通过install.packages下载到。源自于tidyfst,它注定是一个受众面相对较窄的包(至少是暂时)。要使用这个包的用户,需要先问问自己这个问题:是不是日常处理G级别或以上的数据?如果不是,请移步tidyfst(hope-data-science/tidyfst)。很荣幸地告诉大家,tidyfst已经到了它的0.9.5版本,版本的绰号:“九五,飞龙在天”。很多数据操作的任务,如果数据量比较大,我都会避免使用tidyverse而是直接先加载tidyfst包。它不仅仅是快而已,对于一些复杂的任务,它提供了很便捷的方案,也就是在语法结构上也更加灵活而完善。我想如果data.table不更新,我应该不会再随便更新它了。

tidyft包logo,黑白系简洁风,SET和:=象征着data.table包中的原位计算

回到tidyft,它的核心就是原位更新,所以当大家导入一个变量然后对它进行计算的时候,它将永远回不到过去,岁月的印记不可磨灭。当然,我们可以优雅地称之为,具有“操作记忆性”,会记住操作对它做过的一切,因此无法重复利用。举个例子(来自我的GitHub主页hope-data-science/tidyft,欢迎帮我点星星):

library(tidyft)

# get first 5 rows of iris
as.data.table(iris)[1:5] -> a
#show
a
#>    Sepal.Length Sepal.Width Petal.Length Petal.Width Species
#> 1:          5.1         3.5          1.4         0.2  setosa
#> 2:          4.9         3.0          1.4         0.2  setosa
#> 3:          4.7         3.2          1.3         0.2  setosa
#> 4:          4.6         3.1          1.5         0.2  setosa
#> 5:          5.0         3.6          1.4         0.2  setosa

# if you select
a %>% select(1:3)
#>    Sepal.Length Sepal.Width Petal.Length
#> 1:          5.1         3.5          1.4
#> 2:          4.9         3.0          1.4
#> 3:          4.7         3.2          1.3
#> 4:          4.6         3.1          1.5
#> 5:          5.0         3.6          1.4

# you lose the unselected columns forever
a
#>    Sepal.Length Sepal.Width Petal.Length
#> 1:          5.1         3.5          1.4
#> 2:          4.9         3.0          1.4
#> 3:          4.7         3.2          1.3
#> 4:          4.6         3.1          1.5
#> 5:          5.0         3.6          1.4

所以,如果你选择了一个数据框的某些列,你就永远失去了没有选择的其他列。人只能做一次选择,没有选择的就不能再惦记,这样计算机的性能就会达到最高(因为它瞬时释放了不需要的内存)。不过如果你实在想要,就使用`copy()`函数来先复制一下就好,但是对于大的数据集要做拷贝往往要花很多时间(这正是tidyft所要避免的)。

关于这个包的性能,可以参考:

https://hope-data-science.github.io/tidyft/articles/Introduction.html​hope-data-science.github.io

这里放出一个图片供参考:

最下面是tidyft的性能,占用空间最少,花费时间最少。

其实这个包基本拥有tidyfst的所有功能,只是原位更新的概念对于新手是有挑战的,否则你在所有函数前都加as.data.table其实就可以想tidyfst一样潇洒,只是做copy浪费时间(大数据分析中,这个可能是要命的),把所有数据框转为data.table花笔墨而已(tidyfst非常友好,任何不是data.table的数据框都会自动转化为data.table,很便捷)。

最后,这个包其实已经非常完备,可以够得上很高的版本,但是我只给了版本0.4.5。没有别的原因,只是我妈妈的生日就在4月5日而已。祝你生日快乐,妈妈!我爱你!

原文作者:;如有侵权,请联系管理员删除。

下一篇: Hbase VS Oracle
请登录后发表评论 登录
全部评论

注册时间:2018-05-16

  • 博文量
    4259
  • 访问量
    46332