机器学习 – SVM – 能量与损失与正则化与成本函数之间的差异

我正在阅读 A Tutorial on Energy Based Learning,我试图理解上面在SVM背景下所述的所有术语之间的区别. link总结了损失,成本和目标函数之间的差异.根据我的理解,

目标函数：我们想要最小化的东西.例如|| w || ^ 2表示SVM.

损失函数：预测和标签之间的惩罚,也等同于正则化项.示例是SVM中的铰链损失函数.

成本函数：结合目标和损失函数的一般公式.

现在,第一个链接表明铰链函数是max(0,m E(W,Yi,Xi)-E(W,Y,X)),即它是能量项的函数.这是否意味着SVM的能量函数是1 – y(wx b)？能量函数是否是损失函数的一部分.损失目标是成本函数的一部分吗？

对这4个术语的简明总结将极大地帮助我理解.另外,如果我的理解是错误的,请纠正我.这些术语听起来很混乱.谢谢 ！

解决方法

Objective function: Something we want to minimize. For example ||w||^2 for SVM.

目标函数 – 顾名思义 – 优化的目标.它可以是我们想要最小化的东西(如成本函数)或最大化(如可能性).一般来说 – 衡量当前解决方案有多好的函数(通常通过返回实数)

Loss function: Penalty between prediction and label which is also equivalent to the regularization term. Example is the hinge loss function in SVM.

首先,在任何意义上,损失都不等于正规化.损失函数是模型和真理之间的惩罚.这可以是类条件分布与真实标签的预测,因此也可以是数据分布与经验样本等等.

Regularization

正则化是一个术语,惩罚,衡量,应该是过于复杂的模型的惩罚.在ML中,或者在处理估算器时通常在统计中,你总是试图平衡两个误差来源 – 方差(来自过于复杂的模型,过度拟合)和偏见(来自过于简单的模型,糟糕的学习方法,欠拟合).正则化是一种在优化过程中惩罚高方差模型的技术,以便减少过度拟合.换句话说 – 对于能够完美地适应训练集的技术,重要的是要有一个禁止它的措施,以保持概括的能力.

Cost function: A general formulation that combines the objective and loss function.

成本函数只是一个最小化的目标函数.它可以由一些损失函数和正则化器组成.

Now,the 1st link states that the hinge function is max(0,m + E(W,Xi) – E(W,X)) i.e. it is a function of the energy term. Does that mean that the energy function of the SVM is 1 – y(wx + b) ? Are energy functions are a part of a loss function. And a loss + objective function a part of the cost function ?

铰链损失是max(0,1-y(< w,x> -b)).这里定义的不是SVM,但对于一般因子图,我强烈建议从基础开始学习ML,而不是从高级技术开始学习ML.如果不了解ML的基础知识,本文将无法理解.

显示SVM和命名约定的示例

C SUM_i=1^N max(0,1 - y_i(<w,x_i> - b)) + ||w||^2

            \__________________________/    \_____/
                         loss            regularization
\_________________________________________________/
            cost / objective function