如何解决API 仅从 Kaggle 下载部分数据
使用 opendatasets
从参考 kaggle 数据集下载所有内容。
但是,我要下载的这个 dataset 是 12.35GB,并且包含其他不会使用的文件夹。
有没有办法只下载一个子目录;在这种情况下lit/
?
或者限制从一个文件夹下载多少张照片?基于 n-files、内存大小或文件名的 RegEx;在这种情况下 00000.png
起?
哪些替代库可能支持这一点?
pip install opendatasets
import opendatasets as od
od.download('https://www.kaggle.com/allexmendes/synthetic-human-eyes')#,force=True)
>>> 0%| | 0.00/12.1G [00:00<?,?B/s]
Downloading synthetic-human-eyes.zip to .\synthetic-human-eyes
0%|▎ | 47.0M/12.1G [02:55<13:49:39,260kB/s]
下载速度也太慢,无法等待生产。
注意:有时需要 force=True
,具体取决于您的环境。我正在使用 Jupyter Notebooks
。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。