使用 conda 和 pip 时，如何在 Python 中固定版本化依赖项？

如何解决使用 conda 和 pip 时，如何在 Python 中固定版本化依赖项？

我正在尝试遵循安装完全固定依赖项的最佳实践（对于可重复构建和更好的 Docker 缓存，请参阅 this pythonspeed.com article）。

我的项目需要同时使用 conda 和 pip（conda 用于复杂的 ML 包，pip 用于 conda 上不可用的东西）。 conda-lock 和 pip-compile 工具能够生成固定版本的所有传递依赖项。但是，这些工具是独立的：当我运行 pip-compile 时，它不知道 conda-lock 想要安装的依赖项，反之亦然。

这会导致不同的包版本，从而导致 Docker 映像中的空间浪费，并可能导致损坏/不兼容，因为 pip install 步骤安装了某些可传递依赖项的不同版本。

在使用 conda 和 pip 时，有没有人有更好的解决方案来创建固定的 Python 依赖项列表？

（编辑：这是一个关于 conda-lock 的支持 pip 依赖项的 github 票证：https://github.com/conda-incubator/conda-lock/issues/4）

解决方法

您可以安装所有依赖项，然后使用 conda env export 生成固定/版本化 environment.yaml，而不是使用解决依赖项的工具。

主要缺点：重量较重，因为它实际上必须安装所有依赖项。从好的方面来说，您最终只有一个环境“规范”环境文件作为输入，以及一个环境“锁定”文件作为输出。

在 environment-spec.yaml 中指定直接依赖

同时指定 conda 和 pip 依赖项。示例：

name: base
channels:
  - conda-forge
  - defaults
  # etc.
dependencies:
  - matplotlib
  - pandas
  - pip  # needed to have a pip section below
  - scikit-learn
  - pip:
    - pyplot_themes  # only available on PyPI

安装依赖项并导出固定版本（包括传递依赖项）

这可以直接在您的本地机器上完成，但以下是在 Docker 中隔离此进程的方法：

# syntax=docker/dockerfile:1

# Note: using miniconda instead of micromamba because micromamba lacks the
# `conda env export` command.
FROM continuumio/miniconda3:4.9.2

COPY environment-spec.yml /environment-spec.yml
# mounts are for conda caching and pip caching
RUN --mount=type=cache,target=/opt/conda/pkgs --mount=type=cache,target=/root/.cache \
    conda env create -n regen_env --file /environment-spec.yml

# Export dependencies.
RUN conda env export -n regen_env > /environment-lock-raw.yml
CMD ["cat","/environment-lock.yml"]

然后你可以像这样创建一个固定的环境文件（假设上面的 dockerfile 被命名为 regen_environment.Dockerfile）：

docker build -t regen_env -f regen_enviroment.Dockerfile .
docker run --rm regen_env > environment-lock.yaml

这会将固定环境文件输出到 environment-lock.yaml，然后您可以使用 conda install -f environment-lock.yaml 进行安装。

（这是一个包含更多参考资料和详细信息的要点：https://gist.github.com/jli/b2d2d62ad44b7fcb5101502c08dca1ae）