如何解决Spark Structured Streaming with S3-SQS file source with Apache Spark
问题陈述：我想使用 Spark Structured Streaming 从 S3 读取文件写入文件到 s3。我查看了 Spark 团队推荐的参考架构，推荐使用 S3 -> SNS -> SQS using S3-SQS file source。
问题：
- S3-SQS 文件源： S3-SQS 文件源是否在 Apache Spark 中可用？是否需要使用apache Bahir的SQS实现https://github.com/apache/bahir/tree/master/sql-streaming-sqs
- Auto Loader：本文推荐我们应该使用Auto Loader。 Apache Spark 是否提供 Auto Loader https://docs.databricks.com/spark/latest/structured-streaming/sqs.html
看起来 S3-SQS 文件连接器和自动加载器都是 DataBricks Spark 的一部分。 问题是我们应该如何使用 Apache Spark 实现这一点？
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
