微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

在命令行中以有限的进程数运行繁重的任务

如何解决在命令行中以有限的进程数运行繁重的任务

我使用 xargsparellel 在 Amazon Linux 上运行具有有限进程数的繁重任务,但在第一批任务完成后,该任务并未按顺序执行。

命令如下:

seq -f %05g 0 1749 | xargs -P 40 -I {} sudo data_back_fill_tool --data_path part-{}-data.csv

seq -f %05g 0 1749 | parallel -j40 -I {} sudo data_back_fill_tool --data_path part-{}-data.csv

每个数据回填过程大约需要 2 个小时才能完成。然而,没有之后。 0~39 任务完成,下一批任务没有触发。通过使用 ps aux | grep "sudo data_back_fill_tool" 查看正在运行的进程,我发现 0~39 进程永远停留在 S STAT 中。

我该如何解决这个问题?任何线索都应该受到赞赏。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。