如何从 PostgreSQL 中删除大量行？

如何解决如何从 PostgreSQL 中删除大量行？

我们有一个包含大量行 (100m) 的表，托管在 AWS RDS 中。

1. 如果表有不断的读取、写入和更新查询，我们如何有效地删除 50% 的行？
2. 如何每天删除 1% 的数据？

表结构：

• created_at
• user_id
• 其他数据

我们每天都尝试删除，但随后 autovacuum 开始，队列深度增加。

解决方法

我猜您想根据它们的 created_at 值删除很多行。而且，我猜你的表有一个 id 列，它是唯一的主键。

您所做的是一次删除一个行数有限的批次，就像这样。

DELETE FROM yourtable
 WHERE id IN (
     SELECT id
       FROM yourtable
      WHERE created_at < '2020-11-01'
      LIMIT 1000
    )

（在我的示例中，我们将删除在 2020 年 10 月结束之前任何时候创建的表中的所有行。）

这会删除一批 1000 行。您继续运行此查询，直到它不删除任何行。

这很有效，因为删除每个批次不需要很长时间，而且每个批次都不会过多干扰您的生产工作量或真空维护。如果您在 created_at 列上有索引，它将特别有效。

在批次之间延迟几百毫秒也是明智之举，因为您更不可能干扰您的生产工作流程。

一次删除 25 亿行一千将需要 25 万个批次。但这没关系，这就是发明编程的原因。这种批处理方法非常适用于我工作过的地方，适用于最初设计为不便于清理的表格。

一旦您删除了大量积压的旧行，那么每天跟上它就容易多了。

如果您必须每天删除大量行，那么分区是可行的方法（如评论中所述）。但我怀疑您需要停机才能转换您的表格布局以使用它们。这不是一件小事。