如何解决无法直接从 GCP Databricks 上的 Pandas 读取
通常在 Azure/AWS 上的 Databricks 上，要读取存储在 Azure Blob/S3 上的文件，我会挂载存储桶或 Blob 存储，然后执行以下操作：
如果使用 Spark
df = spark.read.format('csv').load('/mnt/my_bucket/my_file.csv',header="true")
如果直接使用pandas，在路径中添加/dbfs：
df = pd.read_csv('/dbfs/mnt/my_bucket/my_file.csv')
我正在尝试使用 GCP 在托管版本的 Databricks 上执行完全相同的操作，尽管我成功地成功安装了存储桶并使用 Spark 读取它，但我无法直接使用 Pandas 执行此操作，添加了 /dbfs不工作，我得到一个没有这样的文件或目录：...错误
你们中有人遇到过类似的问题吗？我错过了什么吗？
我也这样做
%sh
ls /dbfs
尽管我可以在 UI 中看到 dbfs 浏览器以及我安装的存储桶和文件，但它什么也没返回
感谢您的帮助
解决方法
它记录在 list of features not released yet 中：
DBFS 访问本地文件系统（FUSE 挂载）。 对于 DBFS 访问，可以使用 Databricks dbutils 命令、Hadoop 文件系统 API（例如 %fs 命令）和 Spark 读写 API。如有任何问题，请联系您的 Databricks 代表。
所以在使用 Pandas 读取之前，您需要将文件复制到本地磁盘：
dbutils.fs.cp("/mnt/my_bucket/my_file.csv","file:/tmp/my_file.csv")
df = pd.read_csv('/tmp/my_file.csv')
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。