中用table_R包中的小李飞刀|data.table入门介绍

我会带着你远行 2023-01-07 04:59 125阅读 0赞

![0fdbb9b011d74d3b0f5190a609a8bf43.png][] ![8086a5f992f72d86c7a3692c83867877.png][]

天下武功唯快不破！在古龙的武侠世界中有这样一个传奇：小李飞刀，例不虚发！说的是当年的殿试探花李寻欢，飞刀从不轻易出手，一出手必中敌人，概莫能外。在R语言的世界中有一个包，以其炫目的速度和朴实无华的招式被称为R包中的小李飞刀。它就是Matt Dowle开发的data.table包。Matt Dowle虽然不似Hadley Wickham那样被R语言界许多人视为明星偶像，但就凭其data.table包依然是行家里手心中的传奇。在一项基准测试中，对50GB数据进行同样的数据处理，data.table用了15分钟，dplyr用了51分钟，pandas用了31分钟，data.table包完胜。众多R包为了提升性能都纷纷调用data.table包。在这个大数据的时代，如果你想用R来做大数据分析，data.table包是你不可错过的超高性能数据整理的技能包！

**Data.table包是什么**

![8086a5f992f72d86c7a3692c83867877.png][]

data.table是一个高性能的数据整理r包，它提供了数据框data.frame的增强版本。传统的数据框如dat\[i,j\]只能在i和j位置实现数据框的行、列、单元格的选择。而在data.table的数据表DT\[i,j,by\]中，你除了可以完成这些操作之外，还可以完成数据表的分组、变量运算、表格连接、分组汇总、分组后各种运算后再合并为一个数据表…简直你想到的关于数据表格的操作，它基本上都能帮你完成。

数据表的操作，如选择子集、分组、更新变量、表联接等，都是内在相关的，在用这个包进行数据分析时，将这些相关操作放在一起，可以获得以下所列的好处:

1 简洁和一致的语法；

2 利用链式法则流畅地进行分析；

3 自动地优化内部操作，产生快速和内存效率高的代码。

**Data.table包的基本语法**

![8086a5f992f72d86c7a3692c83867877.png][]

DT\[i, j, by\]

\# i: 筛选行或按键列进行表格的行排序筛选和表格连接

\# j: 选择列或变量的各种计算

\# by(keyby):分组或按键列分组

简单来说：就是对于哪些行i，按什么分组by，再对列变量j进行什么计算。

详细的表述是：对于数据表DT, 先对行i进行筛选/排序/表连接, 然后根据by的分组条件进行分组，再对列变量j进行计算。

**实操演示**

![8086a5f992f72d86c7a3692c83867877.png][]

这次我们就借用Hadley Wickham开发的dplyr包官方的入门教程中用到的数据集，用data.table包来实现一下dplyr包入门教程中相同功能，让各位看官感受一下data.table包的魅力。我们使用的nycflights13::flights这个数据集包含了2013年从纽约起飞的所有336776次航班。这些数据来自美国运输统计局。

\#导入数据  
library(nycflights13)  
dim(flights)

![f120787842910adf345cda57cf674ad8.png][]

\#加载data.table包  
library(data.table)  
df=flights  
DT=setDT(df)

![4920e4c8f66a3c8c58fb4d5da5b1dd21.png][]

首次使用，需要安装该包：install.packages(“data.table”)函数。对于数据框和列表使用函数setDT()转换为data.table对象；而对于其他数据结构则使用函数data.table()进行转换。

行操作

** 1.**

行筛选

如何选出2013年1月1日从纽约起飞的所有航班呢？

\#筛选1月1日的所有的航班：  
DT\[month == 1L & day == 1L\]

![5734c9467cb81bee0ccdbeda929f5ec6.png][]

*  Data.table中“i”位置后面不需要逗号，传统的data.frame对象中，逗号是必需的。

** 2.**

行排序

如何将表格按航班的出发地origin升序, 目的地dest降序进行行排序呢？

\#选择列  
DT\[ , .(year,month,day) \]

![fb1a554592ccb075102179dfda0ca72b.png][]

*  Data.table对数据表中的字符变量列使前面加负号的方式来实现降序排序，但在传统的数据框中是不能用加负号的方式来对字符变量进行降序排序的。

列操作

** 1.**

选择列

如何选择year、month和day3列并作为数据表返回？

\#选择列  
DT\[ , .(year,month,day) \]

![5c7e5e54b4e0b687d77da19da0506aa7.png][]

*  .()是list()的一个别名，他们在data.table中是等价的。变量需要用.()包裹起来，这样计算返回的结果才是数据表。

*  除此之外，我们也可以先将要选择的列名以字符向量的形式保存在一个表格外变量中。然后，在数据表中用如下两种方式引用该外部变量存储的列名。

\#引用外部变量中存储的列名来选择列  
\#法一  使用..前缀选择变量中存储的列名称  
select\_cols=c("year", "month", "day")  
DT\[ , ..select\_cols\]

\#法二  使用with=FALSE选择变量中存储的列名称  
DT\[ , select\_cols, with = FALSE\]

![5c7e5e54b4e0b687d77da19da0506aa7.png][]

*  设置with=FALSE将禁用将列作为变量引用的功能，从而传统恢复数据框模式。

*  如何排除year、month和day3列而返回其它列组成的数据表呢？

\#排除列  
flights\[, !c("year", "month", "day")\]   \#(“!”可替换为“-”)

![ce8630ec49214b412a4b9721ab99e37d.png][]

** 2.**

对“j”进行操作

怎么对arr\_delay列和dep\_delay列进行重命名/计算？

\#选择“arr\_delay”和“dep\_delay”列并进行重命名  
DT\[, .(delay\_arr = arr\_delay, delay\_dep = dep\_delay)\]

![8731d3363c7e2eedd59d686c1ced8fad.png][]

\#计算共多少次行程延误<0  
DT\[, sum( (arr\_delay + dep\_delay)

![385f33c977a1743f4b2b6d3ed1a8bc7a.png][]

** 3.**

变量值的汇总

例如，我们通过计算飞行次数、平均距离和延迟到达的操作，看一下如何汇总计算统计量。

\#计算平均离港延误  
 DT\[ , .(m\_dep = mean(dep\_delay, na.rm = TRUE))\]

\#计算飞行次数、平均距离和延迟到达，对每架飞机进行总汇。然后使用ggplot2显示输出。  
delay=DT\[, .(count=.N, dist = mean(distance, na.rm = TRUE),  
       delay = mean(arr\_delay, na.rm = TRUE)),  
   by =.(tailnum)\]\[count > 20 & dist library(ggplot2)  
ggplot(delay, aes(dist, delay)) +  
   geom\_point(aes(size = count), alpha = 1/2) +  
   geom\_smooth() +  
   scale\_size\_area()

![1975dced6712005b88356b2102ee0ed0.png][]

*  从图中可以看出飞行距离和延误有非线性关系。在飞行距离在500-800英里范围内时延误时间较高。

** 4.**

添加新列

在数据表中分别增加gain列和speed列。gain=到达延误-起飞延误；speed=路程/飞行时间\*60；飞行时间的单位是分钟，速度的单位是英里每小时。注意添加新列，使用的是引用符:=，而不是=!

\# 添加新列,使用引用符:=  
DT\[,\`:=\`(gain = arr\_delay - dep\_delay,  
       speed = distance /air\_time \* 60)\]\[, head(.SD),\]

![dacfeff3f51d405cbc1435f3e12e02d2.png][]

*  特殊符号.SD表示sub-datatable即子数据表，指分组后每组对应的子数据表。该子表包含了剔除分组变量后该组所有行。当没有设置分组变量时，就表示原数据表，head(.SD)表示默认显示数据表前六行。

分组-聚合

Data.table表达式的形式中不同于传统表达式是在于”by”参数，这个参数是用来进行分组使用的。例如，根据目的地dest进行分组，计算纽约到每个目的地的飞机机尾号个数和飞行次数。

\# 按照dest列分组并排序  
DT\[,.(planes = length(unique(tailnum)),  
      flights = .N),by=.(dest)\]\[order(dest)\]

![8bd3200d0ca27923ba581c184dca55ab.png][]

*   •特殊符号.N和by结合起来返回分组后子集中的行数。

链式计算

链式计算，顾名思义像链子一样一环一环的链接在一起，前一步的计算结果作为后一步计算的输入。这在数据操作时有什么好处呢？如果一步步用计算表达式来进行多个操作，会产生许多中间变量。当数据量大时，会占据大量的内存资源。采用链式计算，这些中间变量就消失了，节省了资源，提高了计算的性能。这有点像dplyr包中的管道函数%>%。

例如，将数据集按照“year”, “month”, “day”分组，计算出航班到达和起飞的平均延误时间,找出到达或起飞平均延误时间大于30分钟的航班，按照“year”, “month”, “day”这3列升序排序。

\# 同时执行多个操作  
DT\[, .(arr = mean(arr\_delay, na.rm = TRUE),  
       dep = mean(dep\_delay, na.rm = TRUE)),  
   by=.(year, month, day)\]\[arr>30 | dep >30\]\[order(year, month, day)\]

![95377c979786187c85ae701254058bfc.png][] ![e1da3bec675c5cbee2787ec9c4723a1a.png][]

一番操作下来是不是后悔怎么没早点发现这个技能包？data.table包提供的data.frame的高级版本，让你的r做数据整理的运算速度大大的增加。不过如果我们想熟练掌握这个包的符号操作，还是需要多加练习！

**参考资料**

![8086a5f992f72d86c7a3692c83867877.png][]

\[1\]Data.table包官方网址：https://github.com/Rdatatable

\[2\] R语言必学包之data.table包：

https://blog.csdn.net/wltom1985/article/details/61926958

\[3\] R语言data.table速查手册：https://www.cnblogs.com/nxld/p/6059570.html

![76fe8ca8662e564629ef56fa2340ff41.png][] ![8d8c7b15a8fb451a0502b0d3a08948bc.png][]

文字/高静欢

排版/杨梦

指导老师/朱振涛

\-  END -

![e2fe74cc3c4ab17b2176210b4113ac09.png][]

[0fdbb9b011d74d3b0f5190a609a8bf43.png]: https://img-blog.csdnimg.cn/img_convert/0fdbb9b011d74d3b0f5190a609a8bf43.png
[8086a5f992f72d86c7a3692c83867877.png]: /images/20221119/5b7e714a6a1f4a9aae56d053337879e5.png
[f120787842910adf345cda57cf674ad8.png]: https://img-blog.csdnimg.cn/img_convert/f120787842910adf345cda57cf674ad8.png
[4920e4c8f66a3c8c58fb4d5da5b1dd21.png]: https://img-blog.csdnimg.cn/img_convert/4920e4c8f66a3c8c58fb4d5da5b1dd21.png
[5734c9467cb81bee0ccdbeda929f5ec6.png]: https://img-blog.csdnimg.cn/img_convert/5734c9467cb81bee0ccdbeda929f5ec6.png
[fb1a554592ccb075102179dfda0ca72b.png]: https://img-blog.csdnimg.cn/img_convert/fb1a554592ccb075102179dfda0ca72b.png
[5c7e5e54b4e0b687d77da19da0506aa7.png]: https://img-blog.csdnimg.cn/img_convert/5c7e5e54b4e0b687d77da19da0506aa7.png
[ce8630ec49214b412a4b9721ab99e37d.png]: https://img-blog.csdnimg.cn/img_convert/ce8630ec49214b412a4b9721ab99e37d.png
[8731d3363c7e2eedd59d686c1ced8fad.png]: https://img-blog.csdnimg.cn/img_convert/8731d3363c7e2eedd59d686c1ced8fad.png
[385f33c977a1743f4b2b6d3ed1a8bc7a.png]: https://img-blog.csdnimg.cn/img_convert/385f33c977a1743f4b2b6d3ed1a8bc7a.png
[1975dced6712005b88356b2102ee0ed0.png]: https://img-blog.csdnimg.cn/img_convert/1975dced6712005b88356b2102ee0ed0.png
[dacfeff3f51d405cbc1435f3e12e02d2.png]: https://img-blog.csdnimg.cn/img_convert/dacfeff3f51d405cbc1435f3e12e02d2.png
[8bd3200d0ca27923ba581c184dca55ab.png]: https://img-blog.csdnimg.cn/img_convert/8bd3200d0ca27923ba581c184dca55ab.png
[95377c979786187c85ae701254058bfc.png]: https://img-blog.csdnimg.cn/img_convert/95377c979786187c85ae701254058bfc.png
[e1da3bec675c5cbee2787ec9c4723a1a.png]: https://img-blog.csdnimg.cn/img_convert/e1da3bec675c5cbee2787ec9c4723a1a.png
[76fe8ca8662e564629ef56fa2340ff41.png]: https://img-blog.csdnimg.cn/img_convert/76fe8ca8662e564629ef56fa2340ff41.png
[8d8c7b15a8fb451a0502b0d3a08948bc.png]: https://img-blog.csdnimg.cn/img_convert/8d8c7b15a8fb451a0502b0d3a08948bc.png
[e2fe74cc3c4ab17b2176210b4113ac09.png]: https://img-blog.csdnimg.cn/img_convert/e2fe74cc3c4ab17b2176210b4113ac09.png