如何解决比较深度学习中数据加载方法的效率
我需要加载时间序列数据集来训练网络。当我从原始数据中提取这些train_x_0.npy
文件时,由于内存问题,该数据集被分成许多块train_x_1.npy
,train_x_40.npy
,...,.npy
(41个块) 。但是,它们的大小太大(大约1000 GB),我无法将所有内容都加载到RAM中。我一直在考虑解决这个问题的两种方法。
- 使用带有参数
np.load()
的{{1}}加载数据块。内存映射的块存储在Python列表mmap_mode='r+'
中。在Pytorchself.data
类的__getitem__(self,idx)
方法中,我将Dataset
转换为idx
和chunk_idx
,然后通过sample_idx
获取示例。 - 再次从原始数据中提取
self.data[chunk_idx][sample_idx]
文件,并逐样本保存数据,即,一个.npy
文件现在是一个样本,而不是数据块。在.npy
方法中,我将使用__getitem__(self,idx)
加载一个样本。
假设Pytorch np.load(sample_path)
将用于遍历所有样本,那么哪种方法会更快?
如果您有其他建议提取原始数据或加载DataLoader
文件,请分享您的意见。
解决方法
这两种建议的方法都将受到文件系统IO的限制,因为每个样本都将按需从磁盘加载(一旦请求了给定的补丁程序,内存映射不会加快实际加载的速度)。
尤其是当您计划训练许多纪元时,可以通过加载原始块train_x_0.npy
,train_x_1.npy
等(例如,一个(或尽可能多的)RAM)来实现强大的加速。 ),并在切换到下一个块之前训练该块上的多个时期。
为此,您需要控制dataloader
请求的样本索引。为此,您可以定义一个采样器,该采样器将传递给相应的缓存数据块中可用的样本索引。在伪代码中,一次缓存一个块时,您的训练循环可能看起来像这样:
from yourproject import Dataset
from torch.utils.data import DataLoader
from torch.utils.data.sampler import SubsetRandomSampler
dataset = Dataset(train_data_path,...)
for chunk_idx in range(num_chunks):
dataset.cache_chunk(chunk_idx)
chunk_sample_inds = dataset.get_chunk_sample_inds(chunk_idx)
chunk_sampler = SubsetRandomSampler(chunk_sample_inds)
chunk_loader = DataLoader(dataset=dataset,sampler=chunk_sampler)
for chunk_epoch in range(num_chunk_epoch):
for sample_idx,sample in enumerate(chunk_loader):
output = model(sample)
在这里,您的Dataset
类需要照顾
- 在给定块IDx(由
cache_chunk
方法指示的情况下)缓存(加载到RAM)指定的块 - 返回给定块idx的有效样本索引列表(由
get_chunk_sample_inds
方法表示)
如果您使用快速GPU(通常受RAM和VRAM之间来回处理数据的限制,即使对于RAM缓存的数据也是如此),则可以预期使用这种方法可以将速度提高几个数量级(而不是尝试为每个样本填充HDD中的VRAM)。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。