如何解决有没有办法通过 ssh 使用 dask jobqueue
Dask jobqueue 似乎是将作业分配到 PBS/Slurm 管理的集群的一个非常好的解决方案。但是，如果我正确理解了它的用法，您必须在头/登录节点上创建“PBSCluster/SLURMCluster”的实例。然后您可以在同一个节点上创建一个客户端实例，您可以开始向其提交作业。
我想做的是让作业起源于远程机器，通过 SSH 发送到集群头节点，然后提交到 dask-jobqueue。我看到 dask 支持通过 ssh 将作业发送到“distributed.deploy.ssh.SSHCluster”，但这似乎是为在 ssh 之后立即执行而设计的，而不是进一步将其放入作业队列。
总而言之，我想要一个工作流 <!DOCTYPE html>
<html>
<head>
<meta charset = "utf-8">
<meta name="viewport" content="width=device-width,initial-scale=1,shrink-to-fit=no">
<title><?= content ?></title>
</head>
<body>
<h1><?= content ?></h1>
<div id="output"></div>
<form>
<input type="type" name="first" id="first" value="Laurence">
<input type="button" id="subButton" value="submit">
</form>
<script>
window.onload=function() {
var output = document.getElementById("output");
var first = document.getElementById("first");
document.getElementById("subButton").addEventListener("click",function(e){
e.preventDefault();
output.innerHTML = first.value;
var myData ={"first":first.value};
console.log("hello");
google.script.run.doUpload(myData);
});
}
</script>
</body>
</html>
的工作流。使用现有工具可以做到这一点吗？
解决方法
我目前正在研究这个。我的想法是使用 paramiko 建立一个 SSH 隧道，然后使用 Pyro5 从我的本地机器上与集群对象进行通信。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
