如何解决ADX:防止 blob 元数据干扰摄取?
我们希望在新 blob 上传到我们的存储帐户时设置数据摄取(通过事件网格 > 事件中心路由)。以下页面解释了在 blob 上设置的元数据会干扰摄取: https://docs.microsoft.com/en-us/azure/data-explorer/ingest-data-event-grid-overview
第 3 方将使用 SAS 令牌将 BLOB 作为外部数据摄取的一部分上传到他们的特定目录,在那里它会触发摄取。
如果有人在上传每日 blob 时弄乱了 kustoTable、kustoCreationTime 或 kustoExtentTags 元数据属性,从而导致各种问题,我们会担心什么。
是否可以停用对 blob 的这些元数据属性的支持或以某种方式缓解问题?
解决方法
导致我们实施 blob 元数据属性处理的核心要求正好相反——希望管理能够“馈送”的单个 EG 数据连接 多个表。
因此 blob 元数据具有更高的优先级。
在您的情况下,您可以做的是创建一个 Azure 函数,该函数将在重命名或复制 blob 之前从 blob 中强行删除所有不需要的元数据属性,以便 EG 选取它们。
或者,如果您采用这种方式并将函数作为 EG 通知接收器,您的函数可以简单地使用我们的摄取 SDK 提交 blob 以使用排队摄取进行摄取。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。