如何解决DataProc 对 Cloud Storage 中受自定义托管 HSM 密钥保护的数据发出的大量 DecryptRequest 请求
我们在 Cloud Storage 中有使用自定义托管 HSM 密钥加密的交易数据，当用户提交作业时，dataproc 集群会旋转并处理存储在 Cloud Storage 中的数据的一些分析。 数据是每天分区的事务数据，并以镶木地板文件（每天一个文件）格式存储。一切都很好，但在幕后有大量调用 Decrypt 操作的调用。 我们已经将配额增加到每分钟 25 万次操作，但似乎我们只是达到了这个阈值。目前我们被迫减少我们可以处理的严重影响我们的 SLA 的并行作业的数量，并且由于我们达到了 KMS 请求的配额，其他处理产品如 BIG Query 其数据也被加密，无法执行其操作，导致请求失败。 .
我收到异常消息 --> “项目‘XXX’超出了指标 cloudkms.googleapis.com/hsm_symmetric_requests 的限制。”
查看日志时，我可以看到大量请求
request: {
@type: "type.googleapis.com/google.cloud.kms.v1.DecryptRequest"
name: <KeyPath>
}
来自云存储帐户“service-XXXX@gs-project-accounts.iam.gserviceaccount.com”
我可以理解存储帐户要求解密数据，但在我看来，单个作业每分钟 250K 的请求（我们当前的限制）可能操作最多 300 到 400 个文件太高了。
不知何故面临这种挑战？如何处理，因为我们计划使用大量并行作业，这意味着需要相当多的“hsm_symmetric_requests”请求配额。如果有人可以解释这种行为也很棒。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
