如何解决关于使用 Azure 数据工厂仅将“新”行传输到 Snowflake 的建议?
我尝试使用 ADF 作为管道服务将大约 10 个 Sharepoint 列表通过管道传输到 Snowflake。我计划每天运行每个管道一次,并且只想获取最新的 Sharepoint 列表条目。目前,每当管道运行时,它们都会复制 Snowflake 中已有的内容。
有没有办法不重复?想到了几个想法:
- 在 Azure 中创建一个中间表
- 删除 Snowflake 中可能的重复项(不过我认为这不能自动化)
- 删除 Snowflake 中的当前数据以在每次管道运行时替换(不符合成本效益)
我是数据处理的新手,到目前为止,网络一直是一个很好的资源,但这似乎是一个相当小众的问题。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。