CSV 中引用的雪花空值破坏了 PostgreSQL 卸载

如何解决CSV 中引用的雪花空值破坏了 PostgreSQL 卸载

我正在尝试将数据从 Snowflake 转移到 Postgresql，为此我首先将它以 CSV 格式加载到 s3 中。在表格中，可能会出现文本中的逗号，因此我使用 FIELD_OPTIONALLY_ENCLOSED_BY 雪花卸载选项来引用有问题的单元格的内容。但是，当发生这种情况时 + 空值，我无法为 PostgreSQL 提供有效的 CSV。
我创建了一个简单的表格让您了解这个问题。这是：

CREATE OR REPLACE TABLE PUBLIC.TEST(
    TEXT_FIELD VARCHAR(),NUMERIC_FIELD INT
);
INSERT INTO PUBLIC.TEST VALUES
    ('A',1),(NULL,2),('B',NULL),('Hello,world',NULL)
;
COPY INTO @STAGE/test
FROM PUBLIC.TEST
FILE_FORMAT = (
    COMPRESSION = NONE,TYPE = CSV,FIELD_OPTIONALLY_ENCLOSED_BY = '"'
    NULL_IF = ''
)
OVERWRITE = TRUE;

Snowflake 将由此创建以下 CSV

"A",1
"",2
"B",""
"",""
"Hello,world",""

但在那之后，我无法将这个 CSV 按原样复制到 PostgreSQL 表中。
甚至从 PostgreSQL 文档中我们也想到了 NULL 选项：

Specifies the string that represents a null value. The default is \N (backslash-N) in text format,and an unquoted empty string in CSV format.

未在 PostgreSQL COPY INTO 中设置 COPY Option 将导致卸载失败。实际上它不会起作用，因为我们还必须使用 QUOTE 指定使用的引用。就是QUOTE '"'

因此在 POSTGRESQL 卸载期间，使用：
FORMAT csv,HEADER false,QUOTE '"' 会给：

DataError: invalid input syntax for integer: "" CONTEXT:  COPY test,line 3,column numeric_field: ""

FORMAT csv,NULL '""',QUOTE '"' 会给：

NotSupportedError: CSV quote character must not appear in the NULL specification

仅供参考，为了在 s3 中测试卸载，我将在 PostgreSQL 中使用此命令：

CREATE IF NOT EXISTS TABLE PUBLIC.TEST(
  TEXT_FIELD VARCHAR(),NUMERIC_FIELD INT
);
CREATE EXTENSION IF NOT EXISTS aws_s3 CASCADE;
SELECT aws_s3.table_import_from_s3(
'PUBLIC.TEST','','(FORMAT csv,NULL ''""'',QUOTE ''"'')','bucket','test_0_0_0.csv','aws_region'
)

非常感谢您对我可以做些什么来实现它的任何想法？我很想找到一个不需要修改雪花和 postgres 之间的 csv 的解决方案。我认为这在 Snowflake 方面更多是一个问题，因为引用 null 值实际上没有意义。但 PostgreSQL 也无济于事。

解决方法

当您将 NULL_IF 值设置为 '' 时，您实际上是在告诉 Snowflake 将 NULLS 转换为 BLANK，然后将其引用。当您从 Snowflake 复制时，复制选项在某种意义上是“向后”的，NULL_IF 的作用更像是 IFNULL。

这是我在 Snowflake 端使用的代码，它会在您的 CSV 文件中生成一个不带引号的空字符串：

FILE_FORMAT = (
    COMPRESSION = NONE,TYPE = CSV,FIELD_OPTIONALLY_ENCLOSED_BY = '"'
    NULL_IF = ()
)