以可扩展的方式跨多台计算机同步大量文件

我正在寻找一种将大量计算机（数百台）与远程存储库同步的方法。

存储库由小文件（大约20KB）组成，但是总容量只有几GB，并且会随着时间的增长而不断增长。

目标是使远程存储库中的更改尽快（不超过2秒）传播到所有计算机。（同步）

有些工具可以提供此功能，例如S3 sync或Rclone，但有一个主要缺点：

sync命令将需要枚举存储桶中的所有文件，以确定存储桶中是否已经存在本地文件，以及该本地文件是否与本地文件相同。您在存储桶中拥有的文档越多，花费的时间就越长。这意味着一旦铲斗变大，即使很小的改动也将花费大量时间。

我想知道是否有一种方法（工具或方法）仅同步已修改的文件，而不必浏览所有文件。您可以想象在源和远程对元数据进行比较，确定什么是差异并采取相应的行动。

您将如何处理？