monetdb - 目标表中的行数正在增加

如何解决monetdb - 目标表中的行数正在增加

我正在使用 spark 作业将数据从 sql 服务器数据库表加载到 monetdb 表。我的源表有 100000 条记录。我直接将这些记录移动到 monetdb 表中，根本没有过滤器和连接。但是一旦工作完成，我就会在 Target monetdb 表中看到 279997 条记录。已经观察到，目标表中的记录正在重复。

我们已经创建了简单的 etl 来将一张表移动到另一张表，不知道出了什么问题。请有人帮助我们。

问候， NarsimhaReddy

解决方法

这对我来说并不重要。最有可能的是，如果您的表中存在来自早期尝试的陈旧数据。

您使用的是哪个版本的 MonetDB？以及您的 ETL 工具使用哪个库来访问 MonetDB（我对 Spark 一无所知）。

也许你可以调查

1. 桌子开始时是否确实是空的；
2. 额外的行是现有源行的重复行还是垃圾行；
3. 也许您可以确切地调查一下您的 ETL 工具执行了哪些语句，表 sys.queue 可能会有所帮助；
4. 并尝试在重现问题的独立 sql 脚本（通过 mclient 执行）中重新创建它们；
5. ETL 是否正确检测到它执行的语句可能返回的任何错误，或者它是否可能吞下了有用的错误消息；
6. 是否可以让 ETL 工具在某处记录它认为在 MonetDB 中创建的行数。

对不起，我不能给你一个更具体的答案，这需要一些挖掘。