在 Google Cloud PubSub 中获取单个消息的大小

如何解决在 Google Cloud PubSub 中获取单个消息的大小

我有一个将消息发布到 Google Cloud PubSub 服务的设置。

我希望获得我发布到 PubSub 的每条消息的大小。因此，为此，我确定了以下方法（注意：我使用 Python 客户端进行发布和订阅，按照他们的文档中介绍的逐行实现）：

使用“Monitoring”功能从 Google Cloud Console 查看消息计数
创建一个 pull subscription client 并在回调函数中使用 message.size 查看从请求主题中提取的消息的大小。
通过根据 publishing 将消息转换为 JSON 并使用 sys.getsizeof()

对于我使用 Python 发布者客户端发布的如下示例消息：

{
  "data": 'Test_message',"attributes": {
    'dummyField1': 'dummyFieldValue1','dummyField2': 'dummyFieldValue2'
  }
}

，我从订阅客户端中的以下回调函数获得的 message.size 输出的大小为 101：

def callback(message):
    print(f"Received {message.data}.")
    if message.attributes:
        print("Attributes:")
        for key in message.attributes:
            value = message.attributes.get(key)
            print(f"{key}: {value}")
    print(message.size)
    message.ack()

而 Cloud Console Monitoring 上显示的大小约为 79 B。

所以这些是我的问题：

为什么同一封邮件的大小不同？
message.size 的输出是以字节为单位的吗？
如何在使用 python 客户端发布之前查看消息的大小？
如何在 Cloud Console 上查看单个消息的大小，而不是我可以在“监控”部分找到的给定时间范围内的大小汇总度量？

解决方法

为了进一步为社区做出贡献，我总结了我们的讨论作为答案。

关于 message.size，它是订阅者客户端中消息的一个属性。另外，根据documentation，其定义为：

返回底层消息的大小，以字节为单位

因此您将无法在发布之前使用它。

另一方面，message_size 是 Google Cloud Metrics 中的一个指标，由 Cloud Monitoring here 使用。

最后，讨论的最后一个主题是您的目标是监控您的配额支出，因此您可以留在免费层。因此，最好的选择是使用 Cloud Monitoring 并根据 pubsub.googleapis.com/topic/byte_cost 等指标设置警报。以下是一些链接，您可以在其中找到更多相关信息：Quota utilisation、Alert event based、Alert Policies。

关于您关于在发布前查看消息大小的第三个问题，可计费消息大小是消息数据、属性（键加值）、时间戳的 20 个字节和{{1} }.请参阅 Cloud Pub/Sub Pricing 指南。请注意，无论消息大小如何，最少 1000 字节都是收费的，因此如果您的消息可能小于 1000 字节，那么拥有良好的 batch settings 非常重要。 message_id 是在服务器端分配的，不能保证一定的大小，但它由 publish call as a future 返回，因此您可以查看示例。这应该允许您在发布者客户端内获得非常准确的消息成本估计。请注意，您还可以使用 monitoring client library 从 Python 客户端中读取 Cloud Monitoring 指标。

关于您的第四个问题，无法从分布指标中提取单个数据点（除非您在查询的时间段内仅发布了一条消息，在这种情况下，平均值会告诉您该消息的大小） .

在 Google Cloud PubSub 中获取单个消息的大小

如何解决在 Google Cloud PubSub 中获取单个消息的大小

解决方法

相关推荐