如何解决长时间运行的后端处理的SQL Integrity关注
我有一个应用程序,它选择大量数据(pyodbc + sqlalchemy,db = sql Server),对其进行一些操作(使用pandas),然后将结果插入到另一个表中。
现在的问题是,我想在处理结束时标记最初选择的行。
实现此目标的最佳方法是什么?
- 我目前使用pid锁(阻止加载程序)阻止了对第一个表的任何新插入等,但这当然不是对DB的约束,然后批量更新第一个表中没有的行还没有标记
- 我当然可以获取原始数据中ID的列表,然后分批更新ID,这可能真的很慢,因为可能会有成千上万的行。
- 另一种选择是在过程开始时锁定表,但这实际上是一个好主意吗? (如果我的脚本在处理过程中由于任何原因死于某种原因,而导致释放锁的“最终”块未执行)
感谢您的任何想法,想法等!
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。