如何解决从 AWS Glue 作业中的胶水目录读取数据
我有连接到 Kafka 的胶水作业。数据保存在胶水数据目录中,我需要在作业中读取它。我尝试下一步:
df = glueContext.create_data_frame.from_catalog(database = "t-kafka-db",table_name = "t-kafka",transformation_ctx = "df",connectionType="kafka")
df = glueContext.create_dynamic_frame_from_catalog(database="t-kafka-db",table_name="t-kafka",transformation_ctx="df")
df = glueContext.create_dynamic_frame.from_catalog(database = "t-kafka-db",additional_options = {"startingOffsets": "earliest","inferSchema": "false"})
它们都返回相同的错误:
An error occurred while calling o67.getCatalogSource. We don't support this connection type: KAFKA
帮忙解决
解决方法
AWS Glue 现在支持从 Kafka 读取数据。请参阅 this,其中讨论了为流源创建数据目录表。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。