微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如果未正确加载到维度/事实表中的数据,我需要执行哪些步骤来清理数据

如何解决如果未正确加载到维度/事实表中的数据,我需要执行哪些步骤来清理数据

假设存在一种情况,其中事实表\维度表中有数据加载过程,并且经过分析发现有1亿条记录不正确 加载后,我需要执行哪些步骤才能正确清理数据。

解决方法

在这种情况下,有两种帮助方法:

  1. 在每个批次之前进行备份或快照。如果出现这样的重大错误,您可以回滚到快照,重新加载并处理正确的数据。

  2. 在DW中维护仅插入的持久性登台区域,例如数据仓库,每行都标记有批处理ID和时间戳。删除错误的行,然后重建事实和维度。

如果这代表真实情况,那么您唯一的机会就是#1。

如果没有可靠的备份,并且在ETL / ELT过程中已更新和/或删除了行,那么您将没有任何故障前状态的记录,并且可能无法返回

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。