微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

python – 为Google Cloud Machine Learning项目存储图像的最佳方式?

我正在使用带有Tensorflow和Keras的Google Cloud Platform运行机器学习项目.我的数据集中有大约30,000个PNG图像.当我在本地运行它时,Keras具有很好的实用程序来加载图像,但是Google Cloud Services需要使用某些库,例如tensorflow.file_io(请参阅:Load numpy array in google-cloud-ml job),以便从GC存储桶中读取文件.

从Google云端存储分区加载图像的最佳方法是什么?现在我将它们保存为字节并从一个文件中读取它们,但是能够直接从GC存储桶加载图像会很棒.

谢谢,

解决方法:

这篇文章可能有帮助.

Tensorflow multithreading image loading

它使用新的tf.data.Dataset API以高效的方式直接加载图像.因此,您可以存储单个文件而不是单个文件…尽管可能单个文件可能会提供更好的性能,如果您使用类似于每个记录包含图像的TFRecord文件.

希望有所帮助!

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐