多线程子进程为具有大量输出的命令运行

如何解决多线程子进程为具有大量输出的命令运行

我需要编写一个 python 脚本来运行 30-50 个命令行进程并存储日志输出。为了强制执行，我使用了 ProcesspoolExecutor。为了执行 shell 命令，我使用了 subprocess.run。我正在 AWS EC2 实例上的数据管道上运行所有这些代码。我面临的问题是，日志记录（常规 python logging 包）在某个点卡住了。它会在字符串中间中断转储到标准输出。所以我假设在刷新操作期间有一些阻塞。每个 cmd 进程都假设返回不超过 1 Mb 到 stdout。

对调查有什么想法吗？

def exec_cmd(params):
    output = subprocess.run(params,capture_output=True)
    logging.info(output.stdout.decode("utf-8"))

    if output.returncode != 0:
        raise Exception(f'cmd Failed {params} with code {output.returncode}')

with ProcesspoolExecutor(threads) as pool:
     result_directories = flatten(pool.map(exec_cmd,params))