如何解决如何仅将几行 CSV 文件读入 SequenceRecordReader
我正在使用 Deeplearning4j 在随机选择的记录数量上运行模型。有超过 80k 条记录被拆分为自己的 CSV 文件(实际上分为两个单独的 CSV,一个用于数据,一个用于标签),如果您想迭代数千条记录,这不仅效率低下而且非常耗时。下面的代码示例显示了我如何在 SequenceRecordReader 的帮助下遍历这些文件以将它们放入 DataSetIterator 中,并随后逐一评估它们。
for (int g : randomNumbers) {
Pair<SequenceRecordReader,SequenceRecordReader> rrTest =
getCreditCardDataReader(testFeaturesDir,testLabelsDir,g,g);
DataSetIterator testIter =
new SequenceRecordReaderDataSetIterator(
rrTest.getLeft(),rrTest.getRight(),1,CLASSES,false,SequenceRecordReaderDataSetIterator.AlignmentMode.ALIGN_END);
evaluateTestData(network,testIter);
}
以及 getCreditCardDataReader() 的实例:
public Pair<SequenceRecordReader,SequenceRecordReader> getCreditCardDataReader(
File featureDir,File labelDir,int minIndex,int maxIndex) throws Exception {
int skipNumLines = 0;
InputSplit featureFileSplit =
new NumberedFileInputSplit(featureDir.getAbsolutePath() + "/%d.csv",minIndex,maxIndex);
SequenceRecordReader features = new CSVSequenceRecordReader(skipNumLines,",");
features.initialize(featureFileSplit);
InputSplit labelFileSplit =
new NumberedFileInputSplit(labelDir.getAbsolutePath() + "/%d.csv",maxIndex);
SequenceRecordReader labels = new CSVSequenceRecordReader();
labels.initialize(labelFileSplit);
return new ImmutablePair<>(features,labels);
}
现在,需要将所有记录放入两个文件中(一个带有标签,一个带有特征;已经完成)并有选择地选择要使用神经网络进行评估的随机行。问题是似乎没有证据表明 dl4j 库中的任何方法或类使您只能读取 CSV 文件行而不是整个文件本身。有人对如何解决这个问题有任何想法或提示吗?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。