如何解决python：与mpi4py联合进行多处理
我有一个数据处理方面的密集型项目。我正在处理一个集群。我有一个问题，我想了解我可以使用哪些现有的并行化库。
让我们说
- 每个节点有 128 GB 的内存和 16 个 cpu
- 我想要读取 500 GB 的数据
- 每个节点将读取一小部分数据
- 每个节点将与其他节点通信它需要哪些数据并为每个其他节点收集信息。
我会用 mpi4py 来实现这部分。之后，
- 我想使用
multiprocessing模块使用节点中的所有 cpu 进行计算。
我认为最后一点被称为多线程。
我知道在用 C 编写代码时可以联合使用 openMP 和 MPI，我想为 python 找到一个类似的并行化策略。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
