微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

API 仅从 Kaggle 下载部分数据

如何解决API 仅从 Kaggle 下载部分数据

使用 opendatasets 从参考 kaggle 数据集下载所有内容

但是,我要下载的这个 dataset 是 12.35GB,并且包含其他不会使用的文件夹。

有没有办法只下载一个子目录;在这种情况下lit/? 或者限制从一个文件夹下载多少张照片?基于 n-files、内存大小或文件名的 RegEx;在这种情况下 00000.png 起?

哪些替代库可能支持这一点?

pip install opendatasets
import opendatasets as od
od.download('https://www.kaggle.com/allexmendes/synthetic-human-eyes')#,force=True)
>>> 0%|                                                                                      | 0.00/12.1G [00:00<?,?B/s]
Downloading synthetic-human-eyes.zip to .\synthetic-human-eyes
  0%|▎                                                                          | 47.0M/12.1G [02:55<13:49:39,260kB/s]

下载速度也太慢,无法等待生产。

注意:有时需要 force=True,具体取决于您的环境。我正在使用 Jupyter Notebooks

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。