如何解决如何使用 Databricks 访问 AWS 公共数据集?
对于我的一门课,我必须分析一个“大数据”数据集。我在 AWS Registry of Open Data 上发现了以下看起来很有趣的数据集:
https://registry.opendata.aws/openaq/
我究竟如何创建连接并将此数据集加载到 Databricks 中?我尝试了以下方法:
df = spark.read.format("text").load("s3://openaq-fetches/")
但是,我收到以下错误:
java.lang.AssertionError: assertion Failed: Conflicting directory structures detected. SuspicIoUs paths:
另外,这个数据集似乎有多个文件夹。如何访问 Databricks 中的特定文件夹,如果可能,我是否可以专注于特定时间范围?比如说,从 2016 年到 2020 年?
最终,我想执行各种 sql 查询以分析数据集并可能创建一些可视化效果。提前致谢。
解决方法
如果您browse the bucket,您会看到那里有多个不同格式的数据集,需要不同的访问方法。所以你需要指向特定的文件夹(可能还有它的子文件夹来加载数据)。例如,要加载 daily
数据集,您需要使用 CSV 格式:
df = spark.read.format("csv").option("inferSchema","true")\
.option("header","false").load("s3://openaq-fetches/daily/")
例如,要仅加载数据的子集,您可以使用 path filters。见Spark documentation on loading data。
附言从性能的角度来看,inferSchema
不是非常理想,因此最好在阅读时明确 provide schema。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。