无法从 pods Kubernetes 获取应用程序日志

如何解决无法从 pods Kubernetes 获取应用程序日志

我在三个不同的容器中运行三个服务。这些服务的日志会发送到系统，因此如果我在 Linux 服务器上运行这些服务，我可以使用 journalctl 查看日志。

此外，如果我在 Docker 容器中运行服务，我可以使用 docker logs 或从 /var/lib/docker/containers 目录收集日志。但是当我转到 Kubernetes（Microk8s）时，我无法使用 kubectl logs 命令检索它们，并且 /var/log/containers 或 /var/log/pods 中也没有日志。

如果我登录到 pod，我可以看到进程正在运行，但没有日志我无法判断是否有正确运行。另外，我尝试将 microk8s kubelet 的运行时从 containerd 更改为 docker，但仍然无法获取任何日志。

# kubectl get po -o wide
NAME                              READY   STATUS        RESTARTS   AGE   IP             NODE     NOMINATED NODE   READINESS GATES
amf-deployment-7785db9758-h24kz   1/1     Running       0          72s   10.1.243.237   ubuntu   <none>

# kubectl describe po amf-deployment-7785db9758-h24kz
Events:
Type    Reason          Age   From               Message
  ----    ------          ----  ----               -------
Normal  Scheduled       87s   default-scheduler  Successfully assigned default/amf-deployment-7785db9758-h24kz to ubuntu
Normal  AddedInterface  86s   multus             Add eth0 [10.1.243.237/32]
Normal  Pulled          86s   kubelet            Container image "amf:latest" already present on machine
Normal  Created         86s   kubelet            Created container amf
Normal  Started         86s   kubelet            Started container amf

# kubectl logs amf-deployment-7785db9758-h24kz
# kubectl logs -f amf-deployment-7785db9758-h24kz
^C

您可以在以下屏幕截图中看到使用 Docker 运行同一个容器和使用 Kubernetes 运行它的区别。这种行为看起来很奇怪，因为如果应用程序作为独立的 Docker 容器运行，则可以收集日志，但在与 Kubernetes 一起运行时则不能。enter image description here

解决方法

在传统的服务器环境中，应用程序日志被写入一个文件，例如 /var/log/app.log。但是，在使用 Kubernetes 时，您需要跨集群中的多个节点收集多个瞬态 Pod（应用程序）的日志，这使得这种日志收集方法不是最佳的。相反，默认的 Kubernetes 日志记录框架建议将节点上每个容器的标准输出 (stdout) 和标准错误输出 (stderr) 捕获到日志文件中。如果您在使用 kubectl logs 命令时看不到应用日志，则很可能意味着您的应用没有在正确的位置写入日志。官方 Logging Architecture 文档更详细地解释了这个主题。还有一个Basic logging in Kubernetes的例子：

此示例使用 Pod 规范和容器来编写文本每秒到标准输出流一次。

apiVersion: v1
kind: Pod
metadata:
  name: counter
spec:
  containers:
  - name: count
    image: busybox
    args: [/bin/sh,-c,'i=0; while true; do echo "$i: $(date)"; i=$((i+1)); sleep 1; done']

要运行此 Pod，请使用以下命令：

kubectl apply -f https://k8s.io/examples/debug/counter-pod.yaml

输出为：

pod/counter created

要获取日志，请使用 kubectl logs 命令，如下所示：

kubectl logs counter

输出为：

0: Mon Jan  1 00:00:00 UTC 2001
1: Mon Jan  1 00:00:01 UTC 2001
2: Mon Jan  1 00:00:02 UTC 2001
...

您可以使用 kubectl logs --previous 来检索以前的日志容器的实例化。如果您的 pod 有多个容器，通过附加一个指定要访问的容器日志命令的容器名称。请参阅kubectl logs documentation 了解更多详情。

您可以将其与您的 Pod/app 配置进行比较，看看是否有任何错误。

记住这些知识后，您现在可以选择Debug Running Pods，例如：

Debugging Pods 通过执行 kubectl describe pods ${POD_NAME} 并检查其失败背后的原因。
Examining pod logs：使用 kubectl logs ${POD_NAME} ${CONTAINER_NAME} 或 kubectl logs --previous ${POD_NAME} ${CONTAINER_NAME}
Debugging with container exec：通过使用 kubectl exec
在特定容器内运行命令
Debugging with an ephemeral debug container：当 kubectl exec 因容器崩溃或容器映像不包含调试实用程序而不足时，临时容器可用于交互式故障排除，例如 {{3} }.
distroless images：如果这些方法都不起作用，您可以找到运行 pod 的主机并通过 SSH 连接到该主机

总结：

确保您的日志记录到位
使用上面列出的选项进行调试

对于kubernetes日志，可以试试这个命令查看日志：

kubectl logs -f <pod-name>

无法从 pods Kubernetes 获取应用程序日志

如何解决无法从 pods Kubernetes 获取应用程序日志

解决方法

相关推荐