如何解决使用 google-fluend 解析从 nginx 日志到堆栈驱动程序的错误消息
我们尝试通过解析 nginx 错误来设置警报,我们只需要具有 [error] 级别的消息。 ([error] 27720#27720: *29765923 access forbidden by rule,client: blalbablab
)。主要目标是不发送我们不需要的 gcp stackdriver 日志(减少使用的日志存储空间)。所以我用日志流创建了 google-fluend,但我一直在解析错误消息。这是我的配置。
<source>
@type tail
tag nginx-error
path /var/log/nginx/error.log
format multiline
format_firstline /^\d{4}/\d{2}/\d{2} \d{2}:\d{2}:\d{2} \[\w+\] (?<pid>\d+).(?<tid>\d+): /
format1 /^(?<time>\d{4}/\d{2}/\d{2} \d{2}:\d{2}:\d{2}) \[(?<log_level>\w+)\] (?<pid>\d+).(?<tid>\d+): (?<message>$ multiline_flush_interval 3s
#<parse>
#@type regexp
#expression (\s\[error+\])
#time_key name
#types id:integer
#</parse>
</source>
在这种情况下使用带有正则表达式规则的解析是否正确?请帮我解决这个问题。
解决方法
经过一些测试,我得到了一个工作版本。
<source>
@type tail
format /^(?<message>.*\[error\].*)$/
path /var/log/nginx/error.log
pos_file /var/lib/google-fluentd/pos/nginx-error.pos
read_from_head true
tag nginx-error
</source>
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。