如何解决后台的 GNU 并行作业
我在使用 gnu parallel 运行我的作业时有疑问。尽管设置了 --results
参数并以“&”结束我的命令,bash 仍然将我的命令的任何输出显示到屏幕上。这是我的代码的一般结构(假设我运行的程序称为“命令”,并且 filenames.txt 逐行存储所有输入文件):
parallel -a filenames.txt -j 6 --results logs/ --joblog joblog command --input {} --output {}.out &
另外,我想知道在这种情况下使用disown
会不会有什么问题。在我的一次运行中,尽管运行了更多作业,但 joblog
文件似乎被中断并停止更新,这很奇怪。从输出文件(stderr,由--results
设置)来看,大部分joblog
文件没有记录的作业实际上已经完成,还有一些不完整的stderr。我不确定那些带有不完整 stderr 的作业是否成功完成,因为输出文件(由 --output
设置)在文件大小上看起来很正常。我检查了 joblog
文件的时间戳,上次更新时间可能是我使用 disown
时(虽然我不确定)。
一般来说,从GNU Parallel的手册和教程来看,我不确定后台并行运行的兼容性。
谢谢!
J
解决方法
--results
还会将副本打印到 stdout/stderr。这在未来可能会发生变化(请参阅 https://lists.gnu.org/archive/html/parallel/2020-12/msg00003.html)。
现在您只需将输出重定向到 /dev/null。
我很久以前就停止使用 disown
。相反,我在 tmux
中运行作业。不过,disown
应该不会影响 GNU Parallel,所以我无法解释您在 --joblog
中看到的奇怪情况。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。