如何处理Ruby中的大文件？

我是编程的新手,所以要温柔.我正在尝试从库数据库.dat文件中提取IBSN编号.我编写的代码有效,但它只搜索180MB文件的大约一半.如何调整它来搜索整个文件？或者我怎样才能编写一个程序,将dat文件拆分成可管理的块？

编辑：这是我的代码：

export = File.new("resultsfinal.txt","w+")

File.open("bibrec2.dat").each do |line|
  line.scan(/[a]{1}[1234567890xX]{10}\W/) do |x|
    export.puts x
  end
  line.scan(/[a]{1}[1234567890xX]{13}/) do |x|
    export.puts x
  end
end

解决方法

您应该尝试捕获异常以检查问题是否确实在读取块上.

只是你知道我已经制作了一个脚本,有点相同的语法来搜索~8GB的真实大文件没有问题.

export = File.new("resultsfinal.txt","w+")

File.open("bibrec2.dat").each do |line|
  begin
    line.scan(/[a]{1}[1234567890xX]{10}\W/) do |x|
      export.puts x
    end
    line.scan(/[a]{1}[1234567890xX]{13}/) do |x|
      export.puts x
    end
  rescue
    puts "Problem while adding the result"
  end
end

原文地址：https://www.jb51.cc/ruby/264877.html