微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

更新时将查询到的 SQL 数据保持在一种状态

如何解决更新时将查询到的 SQL 数据保持在一种状态

用例如下:

  • 我按照固定的时间表从更大的数据库中抓取数据(仅读取访问权限),大约需要 30 分钟到 1 小时
  • 结果表将始终有 >20k 行,数据可以通过 dataset_id 列分组,该列被限制为 4 个值,如枚举
  • 当我查询一个 dataset_id 的所有行时,假设 SELECT * FROM db WHERE dataset_id = A 所有记录都来自同一个刮擦(所以我不应该混合来自不同刮擦的数据)

问题是我如何将旧数据持久化,直到新抓取完成,然后才在删除旧抓取的同时切换以获取新数据?

我想到了以下选项:

  • 有 2 个表,并在新的抓取完成后在它们之间切换

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。