如何在 Powershell 中对 3000 万条 csv 记录进行排序

如何解决如何在 Powershell 中对 3000 万条 csv 记录进行排序

我正在使用 oledbconnection 对 csv 文件的第一列进行排序。 Oledb 连接在 6 分钟内成功执行了多达 900 万条记录。但是当我执行 1000 万条记录时，收到以下警报消息。

使用“0”个参数调用“ExecuteReader”的异常：“查询无法完成。查询结果的大小大于数据库的最大大小（2 GB），或者磁盘上没有足够的临时存储空间来存储查询结果。"

是否有其他解决方案可以使用 Powershell 对 3000 万进行排序？

这是我的脚本

$OutputFile = "D:\Performance_test_data\output1.csv"
$stream = [System.IO.StreamWriter]::new( $OutputFile )

$sb = [System.Text.StringBuilder]::new()
$sw = [Diagnostics.Stopwatch]::StartNew()

$conn = New-Object System.Data.OleDb.OleDbConnection("Provider=Microsoft.ACE.OLEDB.12.0;Data Source='D:\Performance_test_data\';Extended Properties='Text;HDR=Yes;CharacterSet=65001;FMT=Delimited';")
$cmd=$conn.CreateCommand()
$cmd.CommandText="Select * from 1crores.csv order by col6"

$conn.open()

$data = $cmd.ExecuteReader()

echo "Query has been completed!"
$stream.WriteLine( "col1,col2,col3,col4,col5,col6")

while ($data.read()) 
{ 
  $stream.WriteLine( $data.GetValue(0) +',' + $data.GetValue(1)+',' + $data.GetValue(2)+',' + $data.GetValue(3)+',' + $data.GetValue(4)+',' + $data.GetValue(5))

}
echo "data written successfully!!!"

$stream.close()
$sw.Stop()
$sw.Elapsed

$cmd.dispose()
$conn.dispose()

解决方法

你可以试试 SQLite：

$OutputFile = "D:\Performance_test_data\output1.csv"

$sw = [Diagnostics.Stopwatch]::StartNew()

sqlite3 output1.db '.mode csv' '.import 1crores.csv 1crores' '.headers on' ".output $OutputFile" 'Select * from 1crores order by 最終アクセス日時'

echo "data written successfully!!!"

$sw.Stop()
$sw.Elapsed

你可以尝试使用这个：

$CSVPath = 'C:\test\CSVTest.csv'
$Delimiter = ';'

# list we use to hold the results
$ResultList = [System.Collections.Generic.List[Object]]::new()

# Create a stream (I use OpenText because it returns a streamreader)
$File = [System.IO.File]::OpenText($CSVPath)

# Read and parse the header
$HeaderString = $File.ReadLine()

# Get the properties from the string,replace quotes
$Properties = $HeaderString.Split($Delimiter).Replace('"',$null)
$PropertyCount = $Properties.Count

# now read the rest of the data,parse it,build an object and add it to a list
while ($File.EndOfStream -ne $true)
{
    # Read the line
    $Line = $File.ReadLine()
    # split the fields and replace the quotes
    $LineData = $Line.Split($Delimiter).Replace('"',$null)
    # Create a hashtable with the properties (we convert this to a PSCustomObject later on). I use an ordered hashtable to keep the order
    $PropHash = [System.Collections.Specialized.OrderedDictionary]@{}
    # if loop to add the properties and values
    for ($i = 0; $i -lt $PropertyCount; $i++)
    { 
        $PropHash.Add($Properties[$i],$LineData[$i])
    }
    # Now convert the data to a PSCustomObject and add it to the list
    $ResultList.Add($([PSCustomObject]$PropHash))
}

# Now you can sort this list using Linq:
Add-Type -AssemblyName System.Linq
# Sort using propertyname (my sample data had a prop called "Name")
$Sorted = [Linq.Enumerable]::OrderBy($ResultList,[Func[object,string]] { $args[0].Name })

我没有使用 import-csv，而是编写了一个快速解析器，它使用流读取器并动态解析 CSV 数据并将其放入 PSCustomObject。然后将其添加到列表中。

编辑：修复了 linq 示例

把性能放在一边，至少找到一个有效的解决方案（意味着一个不会因为内存不足而挂起的解决方案）我会依赖 PowerShell 管道。问题是，为了对对象进行排序，您需要停止管道，因为最后一个对象可能会成为第一个对象。
为了解决这部分问题，我将首先对关注属性的第一个字符进行粗划分。完成后，对每个粗划分进行细排序并附加结果：

Function Sort-BigObject {
    [CmdletBinding()] param(
        [Parameter(ValueFromPipeLine = $True)]$InputObject,[Parameter(Position = 0)][String]$Property,[ValidateRange(1,9)]$Coarse = 1,[System.Text.Encoding]$Encoding = [System.Text.Encoding]::Default
    )
    Begin {
        $TemporaryFiles = [System.Collections.SortedList]::new()
    }
    Process {
        if ($InputObject.$Property) {
            $Grain = $InputObject.$Property.SubString(0,$Coarse)
            if (!$TemporaryFiles.Contains($Grain)) { $TemporaryFiles[$Grain] = New-TemporaryFile }
            $InputObject | Export-Csv $TemporaryFiles[$Grain] -Encoding $Encoding -Append
        } else { $InputObject.$Property }
    }
    End {
        Foreach ($TemporaryFile in $TemporaryFiles.Values) {
            Import-Csv $TemporaryFile -Encoding $Encoding | Sort-Object $Property
            Remove-Item -LiteralPath $TemporaryFile
        }
    }
}

使用
_{（不要将流分配给变量，也不要使用括号。）}

Import-Csv .\1crores.csv | Sort-BigObject <PropertyName> | Export-Csv .\output.csv

如果临时文件仍然太大而无法处理，您可能需要增加 -Coarse 参数

注意事项（改进注意事项）

排序属性为空的对象将立即输出
排序列假定为（单个）字符串列
我认为性能很差（我没有对 3000 万条记录进行完整测试，但 10.000 条记录需要大约 8 秒，这意味着大约 8 小时）。考虑用 .Net 流方法替换本机 PowerShell cmdlet。缓冲/缓存文件输入和输出，并行处理？

我添加了一个新答案，因为这是解决此问题的完全不同的方法。
您可以考虑创建一个有序索引列表，而不是创建临时文件（这可能会导致大量文件打开和关闭），而不是多次遍历输入文件 (-FilePath)每次，处理选定数量的行（-BufferSize = 1Gb，您可能需要调整此“内存使用与性能”参数）：

Function Sort-Csv {
    [CmdletBinding()] param(
        [string]$InputFile,[String]$Property,[string]$OutputFile,[Char]$Delimiter = ',',[System.Text.Encoding]$Encoding = [System.Text.Encoding]::Default,[Int]$BufferSize = 1Gb
    )
    Begin {
        if ($InputFile.StartsWith('.\')) { $InputFile = Join-Path (Get-Location) $InputFile }
        $Index = 0
        $Dictionary = [System.Collections.Generic.SortedDictionary[string,[Collections.Generic.List[Int]]]]::new()
        Import-Csv $InputFile -Delimiter $Delimiter -Encoding $Encoding | Foreach-Object { 
            if (!$Dictionary.ContainsKey($_.$Property)) { $Dictionary[$_.$Property] = [Collections.Generic.List[Int]]::new() }
            $Dictionary[$_.$Property].Add($Index++)
        }
        $Indices = [int[]]($Dictionary.Values | ForEach-Object { $_ })
        $Dictionary = $Null                                     # we only need the sorted index list
    }
    Process {
        $Start = 0
        $ChunkSize = [int]($BufferSize / (Get-Item $InputFile).Length * $Indices.Count / 2.2)
        While ($Start -lt $Indices.Count) {
            [System.GC]::Collect()
            $End = $Start + $ChunkSize - 1
            if ($End -ge $Indices.Count) { $End = $Indices.Count - 1 }
            $Chunk = @{}
            For ($i = $Start; $i -le $End; $i++) { $Chunk[$Indices[$i]] = $i }
            $Reader = [System.IO.StreamReader]::new($InputFile,$Encoding)
            $Header = $Reader.ReadLine()
            $i = $Start
            $Count = 0
            For ($i = 0; ($Line = $Reader.ReadLine()) -and $Count -lt $ChunkSize; $i++) {
                if ($Chunk.Contains($i)) { $Chunk[$i] = $Line }
            }
            $Reader.Dispose()
            if ($OutputFile) {
                if ($OutputFile.StartsWith('.\')) { $OutputFile = Join-Path (Get-Location) $OutputFile }
                $Writer = [System.IO.StreamWriter]::new($OutputFile,($Start -ne 0),$Encoding)
                if ($Start -eq 0) { $Writer.WriteLine($Header) }
                For ($i = $Start; $i -le $End; $i++) { $Writer.WriteLine($Chunk[$Indices[$i]]) }
                $Writer.Dispose()
            } else {
                $Start..$End | ForEach-Object { $Header } { $Chunk[$Indices[$_]] } | ConvertFrom-Csv -Delimiter $Delimiter
            }
            $Chunk = $Null
            $Start = $End + 1
        }
    }
}

基本用法

Sort-Csv .\Input.csv <PropertyName> -Output .\Output.csv
Sort-Csv .\Input.csv <PropertyName> | ... | Export-Csv .\Output.csv

请注意，对于 1Crones.csv，它可能只会一次性导出完整文件，除非您将 -BufferSize 设置为较低的数量，例如500Kb。

我从这里下载了 gnu sort.exe：http://gnuwin32.sourceforge.net/packages/coreutils.htm 它还需要依赖 zip 中的 libiconv2.dll 和 libintl3.dll。我基本上是在 cmd.exe 中执行此操作的，它使用的内存不到一演出，大约需要 5 分钟。这是一个大约 3000 万个随机数的 500 兆文件。此命令还可以使用 --merge 合并已排序的文件。您还可以指定开始和结束键位置进行排序 --key。它会自动使用临时文件。

.\sort.exe < file1.csv > file2.csv

实际上，它的工作方式与 cmd 提示符下的 Windows 排序类似。 Windows 排序还有一个 /+n 选项，用于指定开始排序的字符列。

sort.exe < file1.csv > file2.csv

如何在 Powershell 中对 3000 万条 csv 记录进行排序

如何解决如何在 Powershell 中对 3000 万条 csv 记录进行排序

解决方法

相关推荐