如何解决更新时将查询到的 SQL 数据保持在一种状态
用例如下:
- 我按照固定的时间表从更大的数据库中抓取数据(仅读取访问权限),大约需要 30 分钟到 1 小时
- 结果表将始终有 >20k 行,数据可以通过 dataset_id 列分组,该列被限制为 4 个值,如枚举
- 当我查询一个 dataset_id 的所有行时,假设
SELECT * FROM db WHERE dataset_id = A
所有记录都来自同一个刮擦(所以我不应该混合来自不同刮擦的数据)
问题是我如何将旧数据持久化,直到新抓取完成,然后才在删除旧抓取的同时切换以获取新数据?
我想到了以下选项:
- 有 2 个表,并在新的抓取完成后在它们之间切换
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。