微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

在数据工厂中,Azure 事件触发器是否会等到复制完整文件?

如何解决在数据工厂中,Azure 事件触发器是否会等到复制完整文件?

假设我将一个 10 GB 的文件复制到一个 ADLS 位置,并且该位置由 Azure 事件触发器监视。事件触发器是否会等待完整的 10 GB 文件被复制以触发事件或在文件开始复制时立即触发管道?。如果管道在文件开始复制时立即启动,我们如何延迟它以便管道可以等到完整文件被复制?

解决方法

据我所知,一旦整个文件根据事件触发器上传,就会触发 ADF。

enter image description here

ADF 触发器:

enter image description here

,

基于文档:https://docs.microsoft.com/en-us/azure/data-factory/how-to-create-event-trigger 创建文件(完全上传)后,触发器就会触发。

,

根据文档: 这取决于使用哪个 API 来复制文件。 如果是 Blob REST API

“在这种情况下,Microsoft.Storage.BlobCreated 事件在 CopyBlob 操作启动时触发,而不是在 Block Blob 完全提交时触发。” 如果是 Azure Data Lake Storage Gen 2 REST API

“当客户端使用 Azure Data Lake Storage Gen2 REST API 中提供的 CreateFile 和 FlushWithClose 操作时。”

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。