检索新添加的数据库记录

如何解决检索新添加的数据库记录

| 假设我们有以下通用方案： RDBMS作为数据源，它是一个实时数据库（一直充满数据）。 SQL Server 2008作为数据目标，位于远程位置。 我们需要编写一个软件解决方案，它将： 初次运行后，它将 经常（比如说几次 天）从中提取一些具体数据 来源。的“特殊性” 数据在于，一旦 映射/转换是 设计，它们将保持这种方式。 提取的数据将被放置到目标中，等待被另一个进程使用（超出我们的范围）。等待被消费意味着他们将暂时留在那里。 具有以下特点： 提取可能有点复杂 （这意味着它不是 直接从中提取 具体表格，但 加入）。 源中涉及大量数据。通常大约有几千万行，但预计不会超过几百行。 有以下所需的限制： 与数据库无关 源端。 保持对源RDBMS的最小干预，因为它不属于我们，并且任何更改/添加/请求都遵循“不灵活”的过程。 我们不能认为从源中提取涉及的表将具有某种时间戳，自动增量键或其他将最终帮助我们进行“范围查询”并从“该值和然后\”。 问题：由于我们将经常从实时来源中提取数据，因此考虑到上述特征/限制，我们如何才能有效地检索新添加的记录？如果您必须打破其中一项限制，那将是哪一项？是否有一个描述此问题的术语（例如数据差分或...）？我的主要关注点在于如何有效地检索该“差异”。 注意：我支持打破数据库不可知论的想法，并发挥各种RDBMS（元数据？）提供的有用机制来从我们感兴趣的表中获取最新添加的行。我为通用表示歉意，但我也期待通用答案。     

解决方法

  我主要关心的是如何   检索\“差异\”   有效的方式。 您将如何以有用的方式识别差异？鉴于 你不能基于差异 时间戳记。 你不能基于差异 序号。 您可能必须依靠唯一通用的方法：存储提取的密钥，并使用它们来找出差异。 （这对于新行很好，但是对更新行没有帮助。） 您是否可以有效地做到这一点，在很大程度上取决于允许将提取的密钥存储在何处，以及允许在实时数据和存储的密钥之间使用哪种连接。     ,首先，我要说的是我不羡慕您必须处理这种要求。 就是说，如果没有办法告诉您在上一次导入之后添加了什么内容，则必须提取所有数据并将其与目标进行比较，不是吗？ 我可以想到两种方法来最小化源RDBMS上的负载： 更新结构，以允许通过ID或时间戳识别新项目。 向RDBMS添加触发器，以将任何INSERTS和UPDATES转发给您，并维护一个没有源缺点的镜像。 然后，其他人可能会再次提出更好的解决方案。可能涉及伏都教:) 祝好运。