如何解决LogsRouter 导出到 BigQuery 导致部分遍历 JSON RECORD
BigQuery 或 GCP LogsRouter 最近是否有变化,在一定深度后停止解构 JSON 日志?
具体来说,上面的 jsonPayload.metadata.event
用于自动分类为 RECORD(从先前设置的数据接收器中得知)。为了修复错误,我们重建了表,现在旧接收器和我们的新接收器都将此记录作为 STRING 传入。
有什么办法可以让我们再次将其解析为 RECORD?或者,如果这是设计使然,现在推荐的解析方法是什么?
FWIW,看起来 jsonPayload.metadata
被正确解构了,这让这一切变得更加混乱
提前致谢,
解决方法
如您所知,BigQuery 中的字段数据类型是在您创建日志接收器时自动创建的。 您可以按照此 BigQuery Doc
中的说明更改 BigQuery 中的数据类型您提到在之前的架构中您有 jsonPayload.metadata.event
字段作为 RECORD 类型,这意味着应该有其他一些注册表:
jsonPayload.metadata.event.type
jsonPayload.metadata.event.name
jsonPayload.metadata.event.api_version
但是在这种情况下,如果您已经重新创建了架构,则意味着为该条目找到的数据类型被识别为 String
,因此在尝试对 BQ 架构进行任何更改之前,您可能需要检查记录条目创建模式并在需要时自定义它们。有一些 documentation 可以帮助您实现这一目标。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。