如何解决如何在Google Drive for Google Colab上安装conda? 注意事项
! wget https://repo.anaconda.com/miniconda/Miniconda3-py37_4.8.2-Linux-x86_64.sh
! chmod +x Miniconda3-py37_4.8.2-Linux-x86_64.sh
! bash ./Miniconda3-py37_4.8.2-Linux-x86_64.sh -b -f -p /usr/local
import sys
sys.path.append('/usr/local/lib/python3.7/site-packages/')
此代码单元为我的Google Colab安装了conda。 Colab的会话有时间限制,在活动计算8或9个小时后会重置环境状态和数据,因此我需要一次又一次重新启动此单元格。
是否可以在Google云端硬盘上安装conda和所有我需要的软件包?
解决方法
这不是一个完美的解决方案,但它可能比每次下载和构建新的 conda 安装更快。步骤概览:
- 将 conda 安装到 Colab 上的本地目录中,将此目录压缩并存储在 Google 云端硬盘中。
- 当您启动新的 Colab 笔记本或重新启动现有笔记本时,请运行代码块以从 Google Drive 获取 conda 安装并重新设置环境。
1.创建 conda 的安装和您需要的包(仅一次)
下载并安装 miniconda 到 /content/miniconda3
目录:
%env PYTHONPATH=
! wget https://repo.anaconda.com/miniconda/Miniconda3-py37_4.9.2-Linux-x86_64.sh
! chmod +x Miniconda3-py37_4.9.2-Linux-x86_64.sh
! bash ./Miniconda3-py37_4.9.2-Linux-x86_64.sh -b -f -p /content/miniconda3
将 miniconda 添加到系统 PATH
:
import os
path = '/content/miniconda3/bin:' + os.environ['PATH']
%env PATH=$path
安装你需要的 conda 包(例如 packagexyz):
!conda install -c conda-forge packagexyz -y
可选代码块:检查 packagexyz 是否正常工作。这应该打印 packagexyz 的版本及其在 conda 目录中的位置:
import sys
_ = sys.path.append("/content/miniconda3/lib/python3.7/site-packages")
import packagexyz
print(packagexyz.__version__,packagexyz.__file__)
将所有内容复制到 Google 云端硬盘(单击链接以获取身份验证代码,然后将其粘贴到框中):
from google.colab import drive
drive.mount('/content/drive')
!tar -zcf conda_colab.tar.gz /content/miniconda3
!cp conda_colab.tar.gz /content/drive/My\ Drive/
2.将 conda 复制回 Colab(每当您重新启动笔记本时运行)
挂载Google Drive(需要再次输入验证码),将conda安装拷贝回,重新设置环境:
from google.colab import drive
drive.mount('/content/drive')
!tar -xf /content/drive/My\ Drive/conda_colab.tar.gz -C ../
import os
path = '/content/miniconda3/bin:' + os.environ['PATH']
%env PATH=$path
%env PYTHONPATH=
import sys
_ = sys.path.append("/content/miniconda3/lib/python3.7/site-packages")
注意事项
- 此解决方案仅经过轻微测试。您可能需要根据您安装的软件包设置其他环境变量。
- 通过调整
tar
压缩设置,步骤 2 可能会更快。如果您有一个非常大的 conda 安装,请考虑在第 1 步和第 2 步开始时使用apt-get
安装pigz
,然后将--use-compress-program=pigz
添加到!tar...
命令以并行化压缩和解压缩步骤。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。