如何解决事实表核对或验证
在数据仓库项目中,如何验证通过SSIS ETL加载到数据仓库DB中的事实表与登台表正确,以便以后没有错误报告?
解决方法
好问题,人们为此创建了不同的系统。因此,您了解这是开发人员构建的最复杂的检查/对帐过程之一。我试图为您提供三种方法。我建议第一个,因为它更容易,最有效。
您可以-
- 加载后报告:创建将在加载后协调数据的报告。编写SQL来比较源数据和目标数据-比较计数,比较数量,比较null值,比较每日数据等。如果比较产生标记/警告-这意味着负载方面存在一些问题。
- 边走边检查:您可以创建一些可重复使用的功能或映射,以比较传入的源数据和目标数据-比较计数,比较数量,比较空值,比较每日数据等,并存储在表格中。脚本将继续检查这些值,如果有任何问题,脚本将通知支持团队。
- 处理前检查:在启动任何ETL之前,您可以检查源数据-如计数,空值,每日计数等,以验证数据的状态,是否缺少任何文件等。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。