Snowflake COPY INTO 从阶段丢失行

如何解决Snowflake COPY INTO 从阶段丢失行

我一直在使用 PUT 命令将 CSV 数据推送到雪花中以暂存文件，然后使用 copY INTO 将内容放入目标表中：

sNowsql -c myConnection -q 'PUT file://C:\\MyData.csv @~/MyStagingArea;'

sNowsql -c myConnection -q 'USE WAREHOUSE MY_WH; copY INTO MY_TABLE FROM @~/MyStagingArea/MyData.csv.gz FILE_FORMAT = (type=csv validate_utf8=false null_if=('''') field_optionally_enclosed_by=''""'');'

在大多数情况下，这很好用。然而，对于非常大的文件，我将它们分成 9,000,000 个块并使用 powershell 脚本加载它们。最终，我注意到对于这些较大的文件，行会被遗漏。

通过每个文件上传，我发现了问题。沿线的某个地方，在某些情况下，行会丢失，但命令没有记录任何错误。

+----------------------------------+
| status                           |
|----------------------------------|
| Statement executed successfully. |
+----------------------------------+
1 Row(s) produced. Time Elapsed: 0.175s
+----------------------------------------------------------+--------+-------------+-------------+-------------+-------------+-------------+------------------+-----------------------+-------------------------+
| file                         | status | rows_parsed | rows_loaded | error_limit | errors_seen | first_error | first_error_line | first_error_character | first_error_column_name |
|----------------------------------------------------------+--------+-------------+-------------+-------------+-------------+-------------+------------------+-----------------------+-------------------------|
| DMyStagingArea/MyData.csv.gz | LOADED |     8999997 |     8999997 |           1 |           0 | NULL        |             NULL |                  NULL | NULL                    |
+----------------------------------------------------------+--------+-------------+-------------+-------------+-------------+-------------+------------------+-----------------------+-------------------------+
1 Row(s) produced. Time Elapsed: 31.520s

这只有三行短，但这个特殊的负载超过 30 个文件，到最后，它没有错误地删除了大约 4000 万行。我的 sNow sql 日志文件中也没有错误。

鉴于没有错误消息和数据的大小，我不知道从哪里开始寻找问题。有没有人了解可能导致此过程删除行而不会出错的原因？

解决方法

一种合理的解释是 CSV 包含多行条目（即在 " 内引用的带有换行符/回车符的条目）。

示例：

col1,col2
1,"This
entry has two lines"

因此，直接比较行与加载的行可能会产生不同的结果。