如何解决有没有办法在文件上传到 S3 存储桶时通知 Azure 数据工厂?
我们需要将文件从 S3 复制到 ADLS。我们将使用协调器作业接收 S3 存储桶中的文件。有没有办法在文件放入 S3 存储桶时通知 ADF,以便它可以复制到 ADLS?
解决方法
数据工厂不能直接做到这一点。它不支持侦听 Amazon S3,仅支持 event trigger 用于 blob 存储。
如果要这样做,则需要使用其他服务,Logic 应用程序具有 Amazon S3 的触发器:when an S3 object is uploaded:
解决方法如下:
- 使用参数创建数据工厂以将文件从 S3 复制到 ADLS
- 带有触发器的逻辑应用上传 S3 对象时 S3 中的文件名
- 添加操作 Create a pipeline run 以运行数据工厂管道并将触发器输出文件名作为参数传递。
HTH。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。