终于找到根本原因了！！！！！
logstash部署到k8s集群内部的，当所在节点的cpu资源被其他应用抢占时，logstash的处理速度就会降低
问题现象
logstash从kafka读取和写入文件的速度非常慢，怎么调qps都在0K-2K之间徘徊
问题排查过程
1.开始怀疑资源使用问题，但是调整资源限制后，qps并没有升高
2.增加logstash的数量，调大后qps没有变化，因为kafka集群只有3个节点，一个logstash节点就已经连接了3个kafka节点，再多的logstash也无法建立更多的连接，所以qps数量无法升高
3.调大-w 参数（调整运行 filter 和 output 的 pipeline 线程数量，默认是 cpu 核数）调整后qps仍然没有变化
4.调大 -b 参数（每个 Logstash pipeline 线程，在执行具体的 filter 和 output 函数之前，最多能累积的日志条数。默认是 125 条。越大性能越好，同样也会消耗越多的 JVM 内存），调大后发现qps没有升高，甚至有所下降。
5.突然想到如果调低-b 参数的值会怎么样呢，发现调低到500左右时，qps开始升高，最后调整到-w 40 -b 40 ，qps升高到8K，峰值能达到16K，满足需求
根因分析
待分析...怀疑可能是一次获取的日志太多，影响了整体的速度
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
