Pentaho PDI MonetDB 批量加载器步骤中的“加载数据时出错：42000”

如何解决Pentaho PDI MonetDB 批量加载器步骤中的“加载数据时出错：42000”

我想将大型 CSV 文件中的数据插入到 monetdb。我不能使用 monetdb “mclient”，因为这个过程必须在 Docker 容器内的 Pentaho Server 应用程序中运行。 monetdb 也在 Docker 容器中。

这是我非常简单的转换：

当我测试转换时，总是收到以下错误消息：

2021/03/20 22:37:37 - monetdb 批量加载器.0 - 加载数据时出错：42000！copY INTO：记录分隔符包含“\r\n”，但在输入流中， '\r\n' 正被规范化为 '\n'

有人知道发生了什么吗？

谢谢！

解决方法

这与行尾有关。 Pentaho 发出一个 COPY INTO 语句，

COPY INTO <table> FROM <file>
USING DELIMITERS ',','\r\n'

此处，\r\n 表示 DOS/Windows 行尾。自 2020 年 10 月发布以来，MonetDB 在加载数据时始终将行尾从 DOS/Windows 规范化为 Unix 样式 \n。以前，它曾经有时正常化，有时不正常。但是，标准化为 \n 意味着查找 \r\n 会产生一个包含整个文件的巨大行，因此会出现错误消息。

我将向 MonetDB 提交补丁以自动将 USING '\r\n' 替换为 '\n'。 从长远来看，这将修复它。

短期内我没有好的解决方案。我没有使用 Pentaho 的经验，但查看 source code，Pentaho 似乎使用系统属性 lines.separator，在 Windows 上为 \r\n。

这意味着，如果您可以访问 Mac 或 Linux 机器来运行 Pentaho，那么这将在 line.separator 是 \n 那里工作。否则，也许您可​​以询问 Pentaho 人员是否可以使用 java -Dline.separator="\n" 之类的东西启动 JVM 作为解决方法，另请参阅 this Stack Overflow question。

否则，我们将不得不使用 Pentaho、MonetDB JDBC 驱动程序或 MonetDB 的修补版本。我可以向您发送 JDBC 驱动程序的修补版本，它会在将查询发送到服务器之前自动将 '\r\n' 替换为 '\n'，但您必须自己弄清楚如何让 Pentaho 使用这个 JDBC 驱动程序默认的。