微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

将数据从CSV复制到postgres,而忽略唯一的密钥冲突

如何解决将数据从CSV复制到postgres,而忽略唯一的密钥冲突

我正在尝试使用copY sql命令将数据从CSV批量插入Postgresql数据库。通常,CSV文件包含至少一万行,最多一百万行。此CSV文件包含queryId作为列之一,并且此queryId是我要在其上批量插入的表的主键。由于某些原因,CSV文件可能包含已插入的queryId。有什么办法可以通过忽略数据库引发的唯一键冲突异常来批量插入CSV数据,或者可以使用copY处理该异常。

我有一种幼稚的方法,它列出了CSV文件中存在的所有queryId的列表,并在数据库查询与queryId匹配的现有记录。一旦得到结果,请删除CSV中已经插入数据库的那些行。但是由于行数在10万范围内,所以我怀疑这种方法是否可行。

注意:从设计的角度来看,这并不是我要查找的内容,而是删除数据库中已经存在的queryId记录,然后批量插入CSV数据。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。