首页 > > > tidyft高性能数据操作
作者:黄天元,复旦大学博士在读,热爱数据科学与开源工具(R),致力于利用数据科学迅速积累行业经验优势和科学知识发现,涉猎内容包括但不限于信息计量、机器学习、数据可视化、应用统计建模、知识图谱等,著有《R语言数据高效处理指南》。知乎专栏:R语言数据挖掘。邮箱:huang.tian-yuan@qq.com.欢迎合作交流。
tidyft今天过审了,已经可以在CRAN直接通过install.packages下载到。源自于tidyfst,它注定是一个受众面相对较窄的包(至少是暂时)。要使用这个包的用户,需要先问问自己这个问题:是不是日常处理G级别或以上的数据?如果不是,请移步tidyfst(hope-data-science/tidyfst)。很荣幸地告诉大家,tidyfst已经到了它的0.9.5版本,版本的绰号:“九五,飞龙在天”。很多数据操作的任务,如果数据量比较大,我都会避免使用tidyverse而是直接先加载tidyfst包。它不仅仅是快而已,对于一些复杂的任务,它提供了很便捷的方案,也就是在语法结构上也更加灵活而完善。我想如果data.table不更新,我应该不会再随便更新它了。

回到tidyft,它的核心就是原位更新,所以当大家导入一个变量然后对它进行计算的时候,它将永远回不到过去,岁月的印记不可磨灭。当然,我们可以优雅地称之为,具有“操作记忆性”,会记住操作对它做过的一切,因此无法重复利用。举个例子(来自我的GitHub主页hope-data-science/tidyft,欢迎帮我点星星):
library(tidyft)
# get first 5 rows of iris
as.data.table(iris)[1:5] -> a
#show
a
#> Sepal.Length Sepal.Width Petal.Length Petal.Width Species
#> 1: 5.1 3.5 1.4 0.2 setosa
#> 2: 4.9 3.0 1.4 0.2 setosa
#> 3: 4.7 3.2 1.3 0.2 setosa
#> 4: 4.6 3.1 1.5 0.2 setosa
#> 5: 5.0 3.6 1.4 0.2 setosa
# if you select
a %>% select(1:3)
#> Sepal.Length Sepal.Width Petal.Length
#> 1: 5.1 3.5 1.4
#> 2: 4.9 3.0 1.4
#> 3: 4.7 3.2 1.3
#> 4: 4.6 3.1 1.5
#> 5: 5.0 3.6 1.4
# you lose the unselected columns forever
a
#> Sepal.Length Sepal.Width Petal.Length
#> 1: 5.1 3.5 1.4
#> 2: 4.9 3.0 1.4
#> 3: 4.7 3.2 1.3
#> 4: 4.6 3.1 1.5
#> 5: 5.0 3.6 1.4所以,如果你选择了一个数据框的某些列,你就永远失去了没有选择的其他列。人只能做一次选择,没有选择的就不能再惦记,这样计算机的性能就会达到最高(因为它瞬时释放了不需要的内存)。不过如果你实在想要,就使用`copy()`函数来先复制一下就好,但是对于大的数据集要做拷贝往往要花很多时间(这正是tidyft所要避免的)。
关于这个包的性能,可以参考:
https://hope-data-science.github.io/tidyft/articles/Introduction.html这里放出一个图片供参考:

最下面是tidyft的性能,占用空间最少,花费时间最少。
其实这个包基本拥有tidyfst的所有功能,只是原位更新的概念对于新手是有挑战的,否则你在所有函数前都加as.data.table其实就可以想tidyfst一样潇洒,只是做copy浪费时间(大数据分析中,这个可能是要命的),把所有数据框转为data.table花笔墨而已(tidyfst非常友好,任何不是data.table的数据框都会自动转化为data.table,很便捷)。
最后,这个包其实已经非常完备,可以够得上很高的版本,但是我只给了版本0.4.5。没有别的原因,只是我妈妈的生日就在4月5日而已。祝你生日快乐,妈妈!我爱你!
原文作者:;如有侵权,请联系管理员删除。