如何解决Invoke-Sqlcmd和Export-Csv占用大量内存?
当前,我们正在使用PowerShell中的Invoke-sqlcmd
和Export-Csv
命令从sql Server导出csv文件。
要上传到Redshift,我们需要用双引号将数据括起来并转换为UTF8编码。
因此,我们认为Invoke-sqlcmd
和Export-Csv
的组合更易于开发。
这是示例命令:
Invoke-sqlcmd –Username $StrUserName –Password $StrPassword
-Query $StrQry -ServerInstance $StrSvrName
-IgnoreProviderContext -QueryTimeOut 3000 | Export-Csv -path $StrExpFile -Encoding UTF8
正常数量的导出操作没有问题,但是当目标表数据超过一百万行时,它将消耗大量内存。
如果您想降低成本或采取其他替代方式导出数据的想法,请使用双引号将UTF-8编码括起来,请告知我。
谢谢。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。