SSIS平面文件目标中的记录重复

如何解决SSIS平面文件目标中的记录重复

| 我正在使用2008 SSIS包写入平面文件目标。 99.99％可以正常工作。但是，我在目标文件中得到一个重复的记录。 这是软件包的基本流程： 1.读取两个ISO-8859-1编码文件，并将其文本编码为内存中的UTF8 2.将两个文件合并到内存中，并将它们加载到查找缓存中 3.从磁盘读取另一个源文件 4.将源文件中的ID列与查找缓存中的ID列进行匹配 5.如果该ID与查找缓存中的ID匹配，则将其写入匹配文件；如果该ID不匹配，则将其写入另一个文件。 一切从头到尾都有效。但是，我在匹配文件中得到了重复项。我已经开始怀疑重复是由查找缓存文本文件中的文件结尾（或其他）特殊字符引起的，这些字符是在它们加入后的。这些文件是在UNIX系统上生成的（但是我在阅读它们时将它们编码为UTF8）。重复记录每次都是相同的记录。如何避免获取重复项（或弄清楚重复项来自何处）？我不能使用删除重复项，因为目标中有合法重复项。我已经尝试了好几个星期了。     

解决方法

首先将数据放入登台表（可以查询的表）。也许您可以看到如何在复制中获得重复。另外，如果您拥有有效的操作码，怎么知道这是无效的重复项？是什么使它无效？     ,我发现了问题。在读取将消除该行的源时，我没有将字段设置为空字符串。然后，在查找转换中将该行与一个随机行进行匹配，然后继续并将其写入目标。