微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如何将数据模型转换为全新的数据模型?

如何解决如何将数据模型转换为全新的数据模型?

我正在尝试从多个不同的 SaaS 系统(每个系统都有自己的数据模型)中获取数据并对其进行重组,以符合新的、行业标准的统一数据模型。

我已将所有数据提取到 S3(主要通过 Lambda ETL 管道)并运行 glue 爬虫来建立 Athena 查询的架构。

现在我正在尝试转换这些模式以与新的统一数据模式保持一致。例如,现有表“Customer”之一具有字段“Name”和“Email”。新的数据模型将“姓名”和“电子邮件”分解为一个新的“客户信息”表,需要一个新的主键 - 外键关系。

Athena 不支持主键和外键,但也不支持事务在两个具有共享 ID 的不同表中同时插入记录。想知道我是否需要在实际的 RDBMS 中填充数据以转换数据。

非常感谢任何有关将数据模型转换为新模型的情境建议或一般性想法!

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。