更快处理大文件 - 编程之家

如何解决更快处理大文件

//string filename = "123.txt";
foreach (var files in Directory.GetFiles(pathToDir,"*.*",SearchOption.TopDirectoryOnly))
using (var fsIn = new FileStream(files,FileMode.Open,FileAccess.Read))
using (var fsOut = new FileStream($"{files}.crypt",FileMode.CreateNew,FileAccess.Write))
using (var aes = Aes.Create())
using (var enc = aes.CreateEncryptor(new byte[16] /* key */,new byte[16] /* vector */))
using (var cs = new CryptoStream(fsIn,enc,CryptoStreamMode.Write))
    cs.copyTo(fsOut);

处理大文件需要很长时间，请阅读有一个 MemoryMappedFile 方法可以处理大文件，告诉我如何在上面的代码中使用它？

解决方法

MemoryMappedFile 并不会真正为您做很多事情，除非您一次需要在内存中全部存储。

您的瓶颈可能是 IO 而不是 CPU ，因此我希望使用BufferSize并将SequentialScan设置为FileStream可能有助于在较大的块中读取和写入内部缓冲区（尤其是对于现代SSD），并分别更好地优化OS文件缓存

FileStream(String,FileMode,FileAccess,FileShare,Int32,FileOptions)

bufferSize

大于0的Int32正值表示缓冲区大小。的默认缓冲区大小为4096。

FileOptions Enum

SequentialScan

表示将从头开始顺序访问文件结束。系统可以以此为提示来优化文件缓存。如果应用程序移动文件指针以实现最佳随机访问可能不会发生缓存；但是，仍然可以保证正确的操作。在某些情况下，指定此标志可以提高性能。

还请注意，读写文件以及并行处理它们在一定程度上可能会起作用（尽管如果您正在等待 IO ，通常不会做很多事情），但这实际上取决于性能如何您的设备控制器处理队列深度以及CPU造成了多少瓶颈。但是您需要再次根据情况使用它及其并行度。

可以请尝试Nugetting“ System.Reactive”吗？添加对System.Reactive.linq的引用，然后尝试以下操作：

var query =
    Directory
        .EnumerateFiles(pathToDir,"*.*",SearchOption.TopDirectoryOnly)
        .ToObservable()
        .SelectMany(files =>
            Observable.Using(() => new FileStream(files,FileMode.Open,FileAccess.Read),fsIn =>
                Observable.Using(() => new FileStream($"{files}.crypt",FileMode.CreateNew,FileAccess.Write),fsOut =>
                    Observable.Using(() => Aes.Create(),aes =>
                        Observable.Using(() => aes.CreateEncryptor(rgbKey: new byte[16],rgbIV: new byte[16]),enc =>
                            Observable.Using(() => new CryptoStream(fsIn,enc,CryptoStreamMode.Read),cs => Observable.FromAsync(() => cs.CopyToAsync(fsOut))))))));
                            
query.ToArray().Wait();

如果运行速度更快，则可以从并行处理中受益。如果不是这样，则说明您受IO约束，并且并行运行将无济于事。

无论如何，我看不到内存映射文件在哪里有帮助。