如何解决使用 uproot 4 时并行处理中的内存问题,在 uproot 3 中不是这种情况
我在 link 的 Google 驱动器上有这个根文件,当我过去使用并行处理将其转换为根 3 中的数组时,花费的时间和内存更少。我使用的代码类似于
from concurrent.futures import ThreadPoolExecutor
executor = ThreadPoolExecutor(8)
branches = pd.DataFrame.from_dict(uproot.open(''+file_with_path+'')[''+tree_name+''].arrays(namedecode='utf-8',executor = executor))
但是现在它消耗了我在 root 4 中的所有内存,可能是我做得不正确。你能看一下吗?也没有以前那么快了。
from concurrent.futures import ThreadPoolExecutor
executor = ThreadPoolExecutor(8)
input_tree = uproot.open('/path/10k_events_PFSimplePlainTree.root:PlainTree',decompression_executor=executor)
branches = input_tree.arrays(library='pd',decompression_executor=executor)
@jpivarski 和我在关于此 link 的问题中讨论了这个问题,他建议它可能只增加 10% 的内存,但对我来说却超过了 10%。可能会增加 60-80%
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。