如何解决如何使用Databrick访问AWS公共数据集？
我是数据砖的新手。我正在为我的学校项目寻找公共大数据数据集，然后在以下链接上遇到了AWS公共数据集：https://registry.opendata.aws/target/
我在Databricks上使用python，但我不知道如何建立与数据的连接。我发现了以下指导方法：
它提到了
我不确定如何找到相应的access_key，secret_key，AWS_bucket_name和mount_name。
解决方法
本文档适用于非公共S3存储桶。
对于此数据集，您可以简单地使用s3://... URL进行读取，如下所示：
df = spark.read.format("text").load("s3://gdc-target-phs000218-2-open/")
我仅使用text文件格式，但是由于此数据集使用XML存储数据，因此您需要使用类似spark-xml library之类的东西来提取必要的数据。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。