微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

限制与丢失记录有关的event_source_mapping的批处理大小

如何解决限制与丢失记录有关的event_source_mapping的批处理大小

我目前有一个事件源映射,该映射正在从dynamodb流读取并调用lambda。

我担心限制我的event_source_mapping的批处理大小。我担心由于我的同步过程,event_source_mapping会丢失记录。我想将批量大小限制为5,将每个分片的并发批量限制为1。

Batch size: 5
Batch window: None
Concurrent batches per shard: 1
Last processing result: OK
Maximum age of record: 604800
On-failure destination:
{
  "onFailure": {
    "destination": "arn:aws:sns:us-east-1:#############:<<topicname>>>"
  }
}
Retry attempts: 1
Split batch on error: No

因为我的事件源映射从最近的位置开始,所以我是否需要担心在事件源映射正在处理当前批次时,我可能会错过dynamodb流中的事件?

resource "aws_lambda_event_source_mapping" "history" {
  event_source_arn  = "${data.aws_dynamodb_table.auditlogDynamoDB.stream_arn}"
  function_name     = "${module.cx-clientcomm-history-lambda.lambda_function_arn}"
  starting_position = "LATEST"
  maximum_retry_attempts = 1
  batch_size = 1
  maximum_record_age_in_seconds = 604800 // adding to explicitly set. QA plan was providing invalid value
  #(Optional) An Amazon SQS queue or Amazon SNS topic destination for Failed records. 
  destination_config {
    on_failure {
      destination_arn = "${data.aws_sns_topic.cx-clientcomm-sns-slack.arn}"
    }
  }
}

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。