使用 zap logger 将 protobuf 消息正确记录为未转义的 JSON

如何解决使用 zap logger 将 protobuf 消息正确记录为未转义的 JSON

我有一个 Go 项目，我使用 Zap 结构化日志记录结构的内容。这就是我初始化记录器的方式：

zapLog,err := zap.NewProductionConfig().Build()
if err != nil {
    panic(err)
}

最初我从我自己的带有 json 标签的结构开始，并且一切正常：

zapLog.Info("Event persisted",zap.Any("event",&event))

结果：

{"level":"info","ts":1626448680.69099,"caller":"persisters/log.go:56","msg":"Event persisted","event":{"sourceType":4,"sourceId":"some-source-id","type":"updated","value":"{...}","context":{"foo":"bar"}}}

我现在切换到 protobuf，但我正在努力实现相同的结果。最初，我在使用 zap.Any() 时只获得了“反射地图”版本：

zapLog.Info("Event persisted",&event))

{"level":"info","event":"sourceType:TYPE_X sourceId:\"some-source-id\",type:\"updated\" value:{...},context:<key: foo,value:bar>}

我尝试使用 jsonpb 编组器对对象进行编组，该编组器本身生成了正确的输出，但是，当我在 zap.String() 中使用它时，字符串被转义，因此我在每个引号前面。由于稍后会处理日志，这会导致出现问题，因此我想避免它：

m := jsonpb.Marshaler{}
var buf bytes.Buffer
if err := m.Marshal(&buf,msg); err != nil {
    // handle error
}
zapLog.Info("Event persisted",zap.ByteString("event",buf.Bytes()))

结果：

{"level":"info","event":"{\"sourceType\":\"TYPE_X\",\"sourceId\":\"some-source-id\",\"type\":\"updated\",\"value\":\"{...}\",\"context\":{\"foo\":"bar\"}}"}

然后我尝试使用 zap.Reflect() 而不是 zap.Any()，这是我能得到的最接近我需要的东西，除了枚举被呈现为它们的数值（最初的解决方案没有枚举，所以这在 pre-protobuf 解决方案中也不起作用）：

zapLog.Info("Event persisted",zap.Reflect("event","context":{"foo":"bar"}}}

目前我看到的唯一选择是编写自己的 Marshallogobject() 函数：

type ZapEvent struct {
    event *Event
}

func (z *ZapEvent) Marshallogobject(encoder zapcore.ObjectEncoder) error {

  encoder.AddString("sourceType",z.event.sourceType.String()
  // implement encoder for each attribute

}

func processEvent(e Event) {
   ...
   zapLog.Info("Event persisted",zap.Object("event",&ZapEvent{event: &e}))
}

但由于它是一个复杂的结构，我宁愿使用不易出错且维护繁重的解决方案。理想情况下，我会告诉 zap 以某种方式使用 jsonpb marshaller，但我不知道这是否可行。

解决方法

将 zap.Any 与 json.RawMessage 一起使用。可以直接转换jsonpb.Marshaler的字节输出：

    foo := &pb.FooMsg{
        Foo: "blah",Bar:  1,}

    m := jsonpb.Marshaler{}
    var buf bytes.Buffer
    if err := m.Marshal(&buf,foo); err != nil {
        // handle error
    }

    logger,_ := zap.NewDevelopment()
    logger.Info("Event persisted",zap.Any("event",json.RawMessage(buf.Bytes())))

字节将被打印为：

事件持久化 {"event": {"foo":"blah","bar":"1"}}`

我相信这是最简单的方法，但是我也知道一个包 kazegusuri/go-proto-zap-marshaler（我不隶属于它），它生成 MarshalLogObject() 实现作为 protoc 插件。你可能也想看看。