如何解决从表中备份/删除的最快方法
我正在尝试从具有 > 50M 行的表中备份一些数据。 桌子看起来像这样
#
entry_id : int unsignedauto_increment # unique entry id
---
time=CURRENT_TIMESTAMP : timestamp # current timestamp
room : varchar(255) # Room
id : varchar(255) # Sensor ID / NAME
value : double # sensor value
我的计划是
- 获取有限数量的密钥(即
fetch('KEY',limit=some_large_number)
) - 检索这些 KEYS 的表条目
- 在磁盘上保存数据块
- 删除属于 KEYS 的表条目
- 重新开始......
只是获取,假设 1_000_000 个条目,相当快(几秒钟),但是如果我想通过检索主键 -> 获取数据 -> 删除这些条目 - 我基本上坚持获取数据(>大约 100_000 个条目或超时 (?) 需要 20 分钟。
使用数据联合逻辑执行此任务的最优雅/最省时的方法是什么?
(Datajoint python 版本 '0.13.2'
)
解决方法
如果您的数据没有变化,那么您可以使用 limit
和 offset
关键字来遍历表,分块获取而不删除或限制。无需先检索主键、限制获取或删除块。
step = 1_000_000
for chunk in range((len(table) + step - 1) // step):
block = table.fetch(limit=step,offset=step * chunk)
... # save block
如果这是一个简单的备份,则不需要删除。如果需要删除数据,最后可以一次性全部删除。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。