如何解决是否可以流式传输 AWS cloudwatch 日志
我知道可以将 CloudWatch Logs 数据流式传输到 Amazon Elasticsearch Service。它记录在here中，但是否可以将日志数据流式传输到自定义 AWS glue 作业或 EMR 作业？
解决方法
CloudWatch Logs (CWL) 到 ElasticSearch (ES) 的流式传输方式是 AWS 为您创建一个 lambda 函数。因此，CWL 将首先流式传输到 lambda，然后 lambda 将日志事件上传到 ES。
对于 Glue，您不需要 lambda 函数，因为胶水可以从 kinesis 流中获取其流数据。所以你必须设置 CWL subscription to kinesis 流。该流将用作流式 Glue 作业中的源。
对于 EMR，您还可以以与 Glue 相同的方式将日志事件从 CWL 流式传输到 kinesis。但是要在 EMR 中读取流数据，您可能必须使用 EMR Input Connector for Kinesis。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
