微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Postgres 错误为小于 1GB 的二进制文件放大字符串缓冲区

如何解决Postgres 错误为小于 1GB 的二进制文件放大字符串缓冲区

我正在运行一个 python 脚本来将二进制文件内容上传到 postgres 表。但是,在处理 0.812932GB 或 793 MB 的文件时,该进程退出并出现以下错误

psycopg2.errors.ProgramLimitExceeded: out of memory
DETAIL:  Cannot enlarge string buffer containing 0 bytes by 1664884015 more bytes.

这似乎比二进制文件文件大小分配的要多得多。这是为什么?

违规代码

        with open(file_to_store["fqpn"],"rb") as binary:
            cursor.execute(
                sql.sql(
                    "INSERT INTO {}.{} (filesystem_dir,filename,"
                    "file_bin) VALUES (%s,%s,%s)"
                ).format(
                    sql.Identifier(self.table_schema),sql.Identifier(self.table_name),),(
                    file_to_store["directory"],file_to_store["filename"],binary.read(),)
            con.commit()
        con.close()

其中 file_to_store["fqpn"] 是 793MB 文件的完全限定路径。

那么问题是,为什么会为比文件需要更多的内存分配缓冲区,我该如何解决

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。