n_distinct是对磁盘帧的精确计算吗？

如何解决n_distinct是对磁盘帧的精确计算吗？

我正在大文件（> 30GB）上运行n_distinct，它似乎无法产生确切的结果。

我有另一个数据参考点，并且磁盘框架聚合中的输出关闭。

它在文档中提到n_distinct是精确的计算，而不是估计。

是吗？

解决方法

n_distinct的实现可以在此页面https://github.com/xiaodaigh/disk.frame/blob/master/R/one-stage-verbs.R

中找到

#' @export
#' @rdname one-stage-group-by-verbs
n_distinct_df.chunk_agg.disk.frame <- function(x,na.rm = FALSE,...) {
  if(na.rm) {
    setdiff(unique(x),NA)
  } else {
    unique(x)
  }
}

#' @export
#' @importFrom dplyr n_distinct
#' @rdname one-stage-group-by-verbs
n_distinct_df.collected_agg.disk.frame <- function(listx,...) {
  n_distinct(unlist(listx))
}

现在，这似乎是我想要的精确计算。逻辑很简单，它会计算每个块中的unique，然后在收集到所有块的结果后计算n_distinct。

但是我不能排除其他地方是否有错误。

您有测试用例来证明它不完全是吗？也许您可以提供PR进行测试？