Optuna-内存问题

如何解决Optuna-内存问题

我正在尝试在Optuna优化运行之间释放内存。我正在使用python 3.8和Optuna的最新版本。发生的是我运​​行以下命令：optuna.create_study（），然后循环调用optuna.optimize（...），每次都有一个新的目标函数。当我监视内存使用情况时，每次调用optuna.create_study（）命令时，内存使用情况都会不断增加，直至处理器最终杀死程序。为了获得更清晰的图像，第一次运行会占用3％的内存，最终它会累积到80％以上的内存。关于如何在连续调用create_study（）之间从内存中删除研究的任何想法？

解决方法

我在使用 pytorch 时遇到了类似的问题。遵循 optuna 文档 the documentation ，我尝试使用此解决方案：

study.optimize(objective,n_trials=n_trials,gc_after_trial=True)

应该类似于

import gc

study.optimize(objective,callbacks=[lambda study,trial: gc.collect()])

然而，他们都没有为我工作。我可以修复它的唯一方法就是将 pytorch 版本升级到最新版本。我不知道您使用的是 pytorch 还是其他 ML 包，但您可能需要更新相应的包，以防上述行不起作用。