优化 n 个变量的复杂性

如何解决优化 n 个变量的复杂性

如果我使用 scipy.optimise 中的方法之一在 $n$ 变量中找到函数的全局最小值。如果我尝试优化 $n+1$、$n+2$ 变量，那么问题的复杂性如何扩展？

当我在网上查看资源时 like this 这里就不多解释了。

编辑：因此，如果我在一个有 4 个变量，然后有 6 个变量的函数上使用 BFGS，那么“难度”和找到全局最小值所需的时间与从 6 到 8 的增加相同吗？它更多地取决于功能本身，还是这些东西有内在规律？如果使用 COBYLA，这是真的吗？

解决方法

我认为这很难准确，因为这取决于很多事情。这至少取决于：

您使用的是什么方法，对于某些方法，您是提供雅可比还是让方法近似它； 您正在解决的问题的性质； 您最初的猜测与结果相差多远。

大多数（所有？）方法都将归结为求解一个dim x dim 线性方程组，因此至少会像dim 立方一样进行缩放。通常，线性方程 A*x=b 是通过分解 A 来求解的（例如，分解为易于求解的矩阵的乘积，例如三角矩阵和置换矩阵）。因式分解通常是一个模糊的立方过程。

然而，大多数（全部？）可能会采取许多这样的步骤，并且步骤的数量可能会像dim一样缩放，特别是如果您的初始估计与结果相去甚远。