可以在 SageMaker实验室 1.2.*上使用 dask 仪表板吗？

如何解决可以在 SageMaker实验室 1.2.*上使用 dask 仪表板吗？

我无法通过浏览器访问实验室环境，而且实验室可用的 dask 扩展到目前为止对我不起作用。 我希望能够查看我的 dask 项目的进度和性能数据，目前没有运气。

compute() 有时需要几个小时（没关系，有很多数据），我在整个过程中感到盲目。

你知道 labs 1.2 是否支持任何东西？进度条也不走运。 该实例位于 AWS SageMaker 上，因此我无法访问 Web 仪表板。

谢谢！

解决方法

可以使用 performance_report 将大部分仪表板信息保存在一个文件中（请参阅 docs）：

from dask.distributed import Client,performance_report
import time

client = Client()

def f(x):
    time.sleep(x)
    return x

with performance_report():
    futures = client.map(f,range(5))
    results = client.gather(futures)

请注意，这只会在计算停止后保存最终文件（因为它已完成或由于错误/中断）。

如果您想要一些可以在特定步骤/间隔保存信息的东西，最简单的解决方案是将计算拆分为块并将信息保存在每个块上。请注意，此类 hacky-save 会降低并行化的效率，因为某些工作人员可能会在频繁的 .gather 或 .compute 操作期间最终空闲。

另一个选项是定期转储 client.get_task_stream() 的内容，它返回一个包含调度程序上每个任务的字典的元组。这可以在每个未来完成后使用 as_completed 或以某种周期性（例如，在 n 循环中每 while 秒）完成。我想不出通用的解决方案，但应该可以。

您可能还会发现（此答案](https://stackoverflow.com/a/66073423/10693596) 中的链接很有用。