AWS EKS EBS 安装问题/ExpiredTokenException/同时未找到实例

如何解决AWS EKS EBS 安装问题/ExpiredTokenException/同时未找到实例

带有 AWS CSI EBS 驱动程序的 AWS EKS 集群 1.18。一些 Pod 静态配置了 EBS 卷，并且一切正常。

接下来。在某些时候，所有使用 EBS 卷的 Pod 都停止响应，服务有无限的等待时间，代理 Pod 由于超时而终止连接。

kube-controller-manager 的日志 (CloudWatch) 中充满了以下消息：

kubernetes.io/csi: attachment for vol-00c1763<removed-by-me> Failed: 
rpc error: 
code = NotFound desc = Instance "i-0c356612<removed-by-me>" not found

和

event.go:278] Event(v1.ObjectReference{Kind:"Pod",Namespace:"default",Name:"podname-65df9bc5c4-2vtj8",UID:"ad4d30b7-<removed-by-me>",APIVersion:"v1",ResourceVersion:"4414194",Fieldpath:""}): 
type: 'Warning' 
reason: 'FailedAttachVolume' AttachVolume.Attach Failed for volume "ebs-volumename" : 
rpc error: code = NotFound desc = Instance "i-0c356<removed-by-me>" not found

实例在那里，我们检查了 20 次。我们试图杀死实例，所以 CloudFormation 为我们创建了一个新实例，错误仍然存在，只是实例 ID 不同。

接下来。我们开始删除 pod 和卸载卷/删除 sc/pvc/pv。 kubectl 卡在删除 pv 的末尾。我们只能通过不修补 pv 和 volumemounts 的终结器来让它们摆脱这种状态。日志包含以下内容：

csi_attacher.go:662] kubernetes.io/csi: detachment for VolumeAttachment for volume [vol-00c176<removed-by-me>] Failed:
 rpc error: code = Internal desc = Could not detach volume "vol-00c176<removed-by-me>" from node "i-0c3566<removed-by-me>":
 error listing AWS instances: 
"WebIdentityErr: Failed to retrieve credentials\n
caused by: ExpiredTokenException: Token expired: current date/time 1617384213 must be before the expiration date/time1616724855\n\
tstatus code: 400,request id: c1cf537f-a14d<removed-by-me>"

我已了解 Kubernetes 的令牌，但在我们的案例中，一切都由 EKS 管理。谷歌搜索 ExpiredTokenException 将我们带到如何解决您自己的应用程序问题的页面，同样，我们使用 kubectl 管理 AWS 上的所有内容。

请指教。谢谢。

解决方法

请查看 [kops 1.8 发行说明]

新的 AWS 实例类型：P3、C5、M5、H1。请注意，NVME 卷默认 jessie 图像不支持，因此大师不会在 M5 和 C5 实例类型上启动，除非选择了拉伸映像（在图像名称中将拉伸更改为 jessie）。还要注意的是 kubernetes 将不支持在 NVME 上挂载持久卷实例直到 Kubernetes v1.9。

kops edit ig nodes

例如，将图像从 jessie 更改为拉伸：

来自：

image: kope.io/k8s-1.9-debian-jessie-amd64-hvm-ebs-2018-03-11

到：

image: kope.io/k8s-1.9-debian-stretch-amd64-hvm-ebs-2018-03-11

注意：请确保您已安装 kubernetes 1.9.x 或更高版本。