如何解决如何创建并行化的张量对象?
是否有通过 dask 将 numpy 数据转换为张量的标准工作流程?
- 通过
Dask Array (NumPy)
将原始数据读取到每个节点。 - 执行聚合操作以确定 OHE 类。
- 然后使用泛型函数将该数组转换为张量?
- 张量变换的输出作为
Dask Delayed
对象或每个Dask Bag
元素 1 个样本保存在内存中?
嗯。也许第 3 步更多地是关于基于张量的库添加对迭代加载/读取 Dask 数组的支持。或者它可能正在扩展 Dask 以包含这些库的 Incremental Wrappers
?
许多人将 Dask 与 GPU 加速库(如 PyTorch 和 TensorFlow)一起使用,以管理多台机器上的工作负载。他们通常使用 Dask 的自定义 API,特别是 Delayed 和 Futures。 https://docs.dask.org/en/latest/gpu.html
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。