微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

一个更好的unix找到并行处理?

unix find(1)实用程序非常有用,允许我对符合特定规范的许多文件执行操作,例如:
find /dump -type f -name '*.xml' -exec java -jar ProcessFile.jar {} \;

以上操作可能会在特定目录中的每个XML文件上运行脚本或工具.

假设我的脚本/程序耗费了大量cpu时间,而且我有8个处理器.一次处理多达8个文件会很不错.

GNU make允许使用-j标志进行并行作业处理,但find似乎没有这样的功能.是否有替代通用的作业调度方法

带有-P选项的xargs(进程数).假设我想压缩4-cpu机器上目录中的所有日志文件
find . -name '*.log' -mtime +3 -print0 | xargs -0 -P 4 bzip2

你也可以说-n< number>对于每个进程的最大工作单元数.所以说我有2500个文件,我说:

find . -name '*.log' -mtime +3 -print0 | xargs -0 -n 500 -P 4 bzip2

这将启动4个bzip2进程,每个进程有500个文件,然后当第一个完成另一个进程时,将启动最后500个文件.

不知道为什么以前的答案使用xargs和make,你有两个并行引擎!

原文地址:https://www.jb51.cc/bash/386190.html

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐