在 GCP 上存储审核日志

如何解决在 GCP 上存储审核日志

我想将审核日志存储在我们的 GCP 集群（我们的应用程序所在的位置）上。有不同的存储/数据库选项。我们正在调查一张桌子，在没有任何关系的情况下对相似的桶进行分类。

背景：我们正在提供企业级大规模 saas 解决方案 我需要对我们的审计日志做什么，通过审计日志字段/列搜索它们并组合（AND，OR）。排序选项也很重要。

我专注于以下选项（请告诉我是否还有其他更匹配的选项）

1. 云存储
2. Cloud Firestore
3. GCP 管理的 Atlas Kafka

我们的要求是：

1. 拥有可扩展的高性能存储
2. 数据是静态加密的
3. 具有搜索功能（完整的测试搜索将是完美的，但我擅长按列/字段进行简单搜索）

到目前为止我从需求点发现了什么：

1. Mongo 的性能优于 Firebase。不确定将 Cloud Storage（标准模式）与 Mongo 进行比较。
2. Cloud Storage 和 Cloud Firestore 会加密数据。不确定 Mongo
3. Cloud Firestore 和 Mongo 具有开箱即用的搜索功能（不是全文搜索）。 Cloud Storage 可以使用 BigQuery 以及永久/临时表进行搜索。

我的感觉是云存储不是最佳选择。我认为搜索功能有点麻烦。这也是大型二进制文档（图像、视频）的基于文档的结构。如果我错了，请纠正我。

最后两个更接近匹配的解决方案。从企业的角度来看，Mongo 看起来更近了。

请告诉我您的想法。

解决方法

使用 BigQuery！你可以sink the logs directly in BigQuery。在 GCP 中，所有数据都是静态加密的。 BigQuery 是一个强大的数据仓库，具有强大的查询能力。此解决方案可满足您的所有要求。