如何解决DynamoDB流的新数据聚合
我们有基于SQL的标准数据库,用于存储用户的活动。由于数据库中存储了数百万个活动,因此动态进行聚合将非常昂贵,因此我们正在考虑将这些活动推送/复制到DynamoDB中,并使用dynamo DB流(事件)+ Lamda提供实时聚合。 / p>
如果从一开始就确定要进行的聚合类型,则此方法应该起作用。在我们的案例中,我们希望将来基于新的用例继续添加新的聚合。尽管我不确定如何重新生成这些事件流,因为24小时后将不再可用!
有人可以向我解释在初始设置后如何在旅途中添加更多聚合吗?
解决方法
如果您可以使系统因中断而脱机,则可以停止所有写入,然后执行扫描,计算聚合,然后使用将更新聚合的流重新打开所有内容。
如果无法使表脱机,则可能需要做更多的事情,例如通过在启用流时拍摄快照来克隆表,然后计算数据的聚合值直到启用流的位置。
根据您执行的计算,这可能非常麻烦,但是我认为没有其他解决方法。我也希望它们成为DynamoDB的本机聚合框架。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。