为许多机器复制使用 venv 创建的文件夹以使用环境的替代方法

如何解决为许多机器复制使用 venv 创建的文件夹以使用环境的替代方法

我有大约 30 台机器，我计划使用它们来运行分布式训练 Python 脚本。它们都有相同的用户名，以防万一。我在 Windows 上，需要使用 GPU，以防万一这也有帮助。它们都具有相同的 Python 版本和必要的软件安装，但我需要它们安装相同版本的模块（pandas、matplotlib 等）。

我的方法：我最初使用一台机器运行 python -m venv myenv，然后执行 pip install -r requirements.txt。我将文件夹放在网络驱动器中，并将所有机器更改目录到该网络驱动器。由于他们都有相同的用户名，我认为这没问题。它对其中几个有效，但不是全部。另一种解决方案是让所有机器运行命令 python -m venv myenv pip install -r requirements.txt 但这不是理想的吗？如果我必须添加一个模块怎么办？有人有什么建议吗？

编辑：我希望有一个替代 Docker 的解决方案。

解决方法

也许您可以使用 conda 环境并将其导出：

conda-env export -n myenvnaame > myenvfile.yml

然后在其他机器上导入：

conda-env create -n venv -f=myenvfile.yml

或者你可以使用 docker 并在所有机器上共享图像

,

虽然这稍微超出了纯 python 的范围，但创建一个用于执行的 docker 容器，使用构建指令完成设置，将允许该 venv 与其周围的机器设置完全隔离。

Docker 允许在同一个机器上运行的多个实例共享相同的定义，因此如果您遇到运行相同代码的 5 个副本的情况，它可以将相同的内存 IIRC 重用于共享的-mem 代码运行时。我读过这个，但还没有尝试过内存规范。

,

30 台机器是相当多的机器，需要手动管理。大概您可以通过 SSH 访问它们，并且正在考虑将应用程序批量部署到所有这些应用程序的一些解决方案。

这听起来像是 Ansible 的完美用例。如果您不熟悉，我建议您检查一下并调查它在 Windows 主机上的工作情况（我个人只在 Linux 机器上使用过它；FAQ for Windows）。它有一点学习曲线，但是一旦您准备好将应用程序部署到 1 台机器的工作手册，您就可以扩展主机列表并将完全相同的内容部署到所有 30 台机器上。

基本上我会创建一个剧本，让每台机器都创建一个具有依赖关系的本地虚拟环境，但我会从单个节点管理它们。

示例剧本：

---

- name: Do stuff
  gather_facts: false
  hosts: all
  vars:
    virtual_environment: "/home/pi/test_env"

  tasks:
    - name: Install low-level dependencies
      become: true
      apt:
        name: libatlas-base-dev
        update_cache: yes

    - name: Install pip dependencies
      pip:
        name:
          - pandas
          - matplotlib
          - numpy
        virtualenv: "{{ virtual_environment }}"
        virtualenv_command: python3 -m venv

    - name: Execute some script
      command:
        cmd: |
          {{ virtual_environment }}/bin/python -c '
          import pandas as pd
          print("Pandas is installed under:",pd.__file__)
          '
      register: script

    - name: Print the output
      debug:
        msg: "{{ script.stdout }}"

示例广告资源：

192.168.0.24

输出：

$ ansible-playbook -i inventory playbook.yml

PLAY [Do stuff] **************************************************************************

TASK [Install low-level dependencies] ****************************************************
ok: [192.168.0.24]

TASK [Install pip dependencies] **********************************************************
ok: [192.168.0.24]

TASK [Execute some script] ***************************************************************
changed: [192.168.0.24]

TASK [Print the output] ******************************************************************
ok: [192.168.0.24] => {
    "msg": "Pandas is installed under: /home/pi/test_env/lib/python3.7/site-packages/pandas/__init__.py"
}

PLAY RECAP *******************************************************************************
192.168.0.24               : ok=4    changed=1    unreachable=0    failed=0    skipped=0    rescued=0    ignored=0

请注意，对于大多数任务，这次运行如何导致“ok”而不是“changed”——这是因为我之前已经运行过这个剧本，这次 Ansible 注意到这些包已经安装，所以没有必要重新安装再次。大多数 Ansible 模块都是以这种方式设置的，这使其高效。请参阅（非常好！）文档以找出每个模块可用的参数（在上面的示例中，模块是：apt、pip、command、{{1} }).