如何解决如何在R中使用disk.frame计算唯一实体?
我想将数据帧转换为磁盘帧,然后计算第一列。当我尝试它时,它不计算列的唯一值的数量。看来是在计算工人人数。
library(disk.frame)
options(future.globals.maxSize = Inf)
setup_disk.frame(workers = 8)
这是示例数据集
bigint <- sample(123901239804:901283455390,3*10^5)
df <- data.frame(bigint)
df %>%
summarize(ints = length(unique(bigint)))
df %>%
as.disk.frame %>%
summarize(ints = length(bigint)) %>%
collect
ints
1 300000
ints
1 8
解决方法
{disk.frame}仅支持某些分组功能。您可以使用dplyr::n_distinct
df %>%
as.disk.frame %>%
summarize(ints = n_distinct(bigint)) %>%
collect
产生
ints
1 300000
在https://diskframe.com/articles/10-group-by.html#list-of-supported-group-by-functions
中查看受支持的分组动词列表您可以按照本指南定义更多自定义的分组动词
https://diskframe.com/articles/11-custom-group-by.html
由于disk.frame的分块性质,某些分组依据动词无法以精确的方式完成。但这对于所有“大型”数据系统都是如此。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。