微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

通过bash管道处理大文件,它是否缓冲?

我需要使用如下命令:
$cat large.input.file | process.py > large.output.file

问题是,因为这不会使硬盘在读取输入文件和写入输出文件之间跳转困难吗?

有没有办法告诉bash在做这种管道时使用大内存缓冲区?

别担心.操作系统会为你做缓冲,它通常非常擅长.

话虽如此:
如果您可以更改process.py,则可以实现自己的缓冲.
如果你不能改变process.py,你可以编写自己的buffer.py和
像这样使用它.

$cat large.input.file | buffer.py | process.py | buffer.py > large.output.file

从RAM磁盘读取和写入可能要容易得多.

原文地址:https://www.jb51.cc/bash/385748.html

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐