如何解决更新事实表
我有一个被提取到事实和维度中的平面文件资源。 一些维度也来自数据库资源。 转换过程是根据需要设置的(如果有新的/更新的平面文件)。 问题是,基于数据库资源的维度上的某些数据引用不存在或匹配,因此事实上的外键 id 值设置为默认值(如果没有匹配数据,则为零)。
如果所述维度(数据库资源)已更新,我该如何更新事实? 这种场景的最佳实践/例程是什么?
这是示例插图
Flatfile source product list (db source)
-------------------------------- ------------------------------
| product name | year | volume | | prodcode | name |
-------------------------------- ------------------------------
| apple | 2020 | 1000 | | 001 | apple |
| watermelon | 2020 | 2000 | | 002 | mango |
-------------------------------- ------------------------------
事实/维度
production_fact dim_product
------------------------------- ---------------------------
| fk_product| fk_date| volume | | id | prodcode | name |
------------------------------- --------------------------|
| 2 | d001 | 1000 | | 1 | n/a | n/a |
| 1 | d001 | 2000 | | 2 | 001 | apple |
------------------------------- | 3 | 002 | mango |
---------------------------
如果产品列表会更新(003西瓜),我应该用新值替换dim_product第1行吗?
解决方法
根据您的示例,它应该是这样工作的:
注意:我希望 prodcode 在平面文件中,而不是产品名称。这真的是你的数据的样子吗?无论如何我会继续。
第一组数据到达。西瓜其实是维度,不是维度。
Flatfile source product list (db source)
-------------------------------- ------------------------------
| product name | year | volume | | prodcode | name |
-------------------------------- ------------------------------
| apple | 2020 | 1000 | | 001 | apple |
| watermelon | 2020 | 2000 | | 002 | mango |
-------------------------------- ------------------------------
我们加载了一个维度记录,但它没有任何属性值。 (正如我所说,我通常希望代码在事实输入数据中,但没关系,我们将进行描述)。这当然需要一些逻辑来找到实际上但不在维度中的维度。
production_fact dim_product
------------------------------- ------------------------------------------------
| fk_product| fk_date| volume | | id | prodcode | name | weight |colour |
------------------------------- ------------------------------------------------
| 2 | d001 | 1000 | | 1 | n/a | n/a | n/a | n/a |
| 4 | d001 | 2000 | | 2 | 001 | apple | 200mg | red |
------------------------------- | 3 | 002 | mango | 400mg | yellow|
| 4 | ? | watermelon | ? | ? |
------------------------------------------------
所以我们有维度 SK 4,它是一个合法的维度记录,只是它缺少大量属性。
稍后,维度到达。我们知道匹配的含义,因此我们更新了缺失数据的现有维度。
product list (db source)
-----------------------------------------------
| prodcode | name | weight |colour |
--------------------------------------|-------|
| 003 | watermelon | 1kg | green |
-----------------------------------------------
------------------------------------------------
| id | prodcode | name | weight |colour |
------------------------------------------------
| 1 | n/a | n/a | n/a | n/a |
| 2 | 001 | apple | 200mg | red |
| 3 | 002 | mango | 400mg | yellow|
| 4 | 003 | watermelon | 1kg | green |
------------------------------------------------
您希望避免更新大量事实。更新更小的维度是一个更好的主意
顺便说一句,这是一个类型 1 的维度。您可以对 SCD 采取相同的方法,只是您不会计算维度的第一个版本,而只是覆盖它。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。