如何解决为什么read_csv的结果大于read.csv的结果?
我正在一个项目中导入许多(> 300).csv文件,但我偶然发现了一个非常奇怪的情况。
比较read_csv
和read.csv
的结果时,大小存在明显差异。
Windows列出所有文件的文件大小为442 MB。
使用readr
library(tidyverse)
datadir <- "Z:\\data\\attachments"
list_of_files <- list.files(path = datadir,full.names = TRUE)
readr_data <- lapply(list_of_files,function(x) {
read_csv(x,col_types = cols())
})
object.size(readr_data)
#> 416698080 bytes
str(readr_data[1])
#> List of 1
#> $ : tibble [2,123 x 80] (S3: spec_tbl_df/tbl_df/tbl/data.frame)
使用base
方法
base_data <- lapply(list_of_files,function(x) {
read.csv(x)
})
object.size(base_data)
#> 393094616 bytes
str(base_data[1])
#> List of 1
#> $ :'data.frame': 2123 obs. of 80 variables:
# Compare size
object.size(readr_data) / object.size(base_data) * 100
#> 106 bytes
现在6%可能不会那么多,但是仍然是23 MB,我仍然对为什么它们有所不同感兴趣。此外,两者均比Windows报告的要小。
为什么列表大小不同,这很重要吗?
编辑:显然某些类是不同的。我使用了this method:
readr_class <- sapply(readr_data[[1]],class)
base_class <- sapply(base_data[[1]],class)
result <- data.frame(readr_class,base_class)
这些是区别:
readr_class base_class
var1 numeric integer
var2 numeric integer
var3 numeric integer
var4 character integer
解决方法
选择正确的功能对于编写高效的代码当然非常重要。 不同功能和程序包中存在的优化程度将影响对象的存储方式,对象的大小以及在对象上运行的速度。请考虑以下内容。
select userId,teamId,name,pid
from (
select u.userId,t.teamId,t.name,r.pid,row_number() over (order by u.userId) rn
from User u
inner join resource r on r.userId = u.userId
inner join team t on t.bossId = u.bossId
where r.pid = @pid
) d
where d.rn = 1
因此,在这里您已经看到library(data.table)
a <- c(1:1000000)
b <- rnorm(1000000)
mat <- as.matrix(cbind(a,b))
df <- data.frame(a,b)
dt <- data.table::as.data.table(mat)
cat(paste0("Matrix size: ",object.size(mat),"\ndf size: ",object.size(df)," (",round(object.size(df)/object.size(mat),2),")\ndt size: ",object.size(dt),round(object.size(dt)/object.size(mat),")" ))
Matrix size: 16000568
df size: 12000848 (0.75)
dt size: 4001152 (0.25)
使用的存储空间是旧data.table
的4倍,是matrix
的3倍。现在关于操作速度:
data.frame
> microbenchmark(df[df$a*df$b>500,],mat[mat[,1]*mat[,2]>500,dt[a*b>500])
Unit: milliseconds
expr min lq mean median uq max neval
df[df$a * df$b > 500,] 23.766201 24.136201 26.49715 24.34380 30.243300 32.7245 100
mat[mat[,1] * mat[,2] > 500,] 13.010000 13.146301 17.18246 13.41555 20.105450 117.9497 100
dt[a * b > 500] 8.502102 8.644001 10.90873 8.72690 8.879352 112.7840 100
的过滤速度比data.table
上的base
快1.7倍,比使用data.frame
快2.5倍。
这还不是全部,对于几乎所有CSV导入,使用matrix
都会改变您的生活。试试看,不要尝试data.table::fread
或read.csv
。
恕我直言read_csv
并没有得到应有的爱,它是性能最佳的全方位软件包,语法非常简洁。 following vignettes应该让您迅速上路,值得我付出努力,相信我。
为了进一步提高性能,data.table
包含许多流行功能和问题的Rfast
实现,例如Rcpp
。
编辑:rowSort()
的速度归因于在C代码级别进行的优化,其中涉及使用指针进行内存映射以及强制使用的技术,坦率地说,这超出了我的理解范围。 This post包含作者Matt Dowle的一些解释,以及他与fread
的作者Hadley Wickham之间有趣的,简短的讨论。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。