如何解决ClearML以前称为 Trains可以在本地服务器上工作吗?
我正在尝试从 ClearML(以前称为 Trains)开始。
我在 documentation 上看到我需要在 clearml 平台本身或使用 AWS 等的远程机器上运行服务器。
我真的很想绕过这个限制并在我的本地机器上运行实验,而不是连接到任何远程目标。
根据this我可以在任何远程机器上安装trains-server
,所以理论上我应该也可以在我的本地机器上安装它,但它仍然需要我有Kubernetes或Docker ,但我没有使用它们中的任何一个。
有没有人在本地服务器上使用过 clearml(或 Trains,我认为它们仍然是完全相同的 API 等等)?
- 我的操作系统是 Ubuntu 18.04。
解决方法
免责声明:我是 ClearML 团队(前身为 Trains)的成员
我真的很想绕过这个限制并在我的本地机器上运行实验,而不是连接到任何远程目标。
几个选项:
- Clearml 免费试用版为您的实验提供免费托管,这些实验仅供您访问,除非您特别想与同事分享。这可能是 get started 的最简单方法。
- 安装 ClearML-Server 基本上你只需要安装 docker 就可以了。有完整的说明 here ,这是摘要:
echo "vm.max_map_count=262144" > /tmp/99-trains.conf
sudo mv /tmp/99-trains.conf /etc/sysctl.d/99-trains.conf
sudo sysctl -w vm.max_map_count=262144
sudo service docker restart
sudo curl -L "https://github.com/docker/compose/releases/latest/download/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose
sudo mkdir -p /opt/trains/data/elastic_7
sudo mkdir -p /opt/trains/data/mongo/db
sudo mkdir -p /opt/trains/data/mongo/configdb
sudo mkdir -p /opt/trains/data/redis
sudo mkdir -p /opt/trains/logs
sudo mkdir -p /opt/trains/config
sudo mkdir -p /opt/trains/data/fileserver
sudo curl https://raw.githubusercontent.com/allegroai/trains-server/master/docker-compose.yml -o /opt/trains/docker-compose.yml
docker-compose -f /opt/trains/docker-compose.yml up -d
- ClearML 还支持完全离线模式(即不进行外部连接)。实验完成后,您可以手动将运行导入您的服务器(自托管或免费层服务器)
from clearml import Task
Task.set_offline(True)
task = Task.init(project_name='examples',task_name='offline mode experiment')
过程结束后,您将获得一个指向包含整个离线会话输出的 zip 文件的链接:
ClearML Task: Offline session stored in /home/user/.clearml/cache/offline/offline-2d061bb57d9e408a9420c4fe81e26ad0.zip
稍后您可以使用以下命令导入会话:
from clearml import Task
Task.import_offline_session('/home/user/.clearml/cache/offline/offline-2d061bb57d9e408a9420c4fe81e26ad0.zip')
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。