斯坦福大学机器学习第五课"正则化“
本次课程主要包括4部分：
1)The Problem of Overfitting(过拟合问题)
2) Cost Function(成本函数)
3) Regularized Linear Regression(线性回归的正则化)
4) Regularized Logistic Regression(逻辑回归的正则化)
以下是每一部分的详细解读。
1)The Problem of Overfitting(过拟合问题)
拟合问题举例-线性回归之房价问题：
a) 欠拟合(underfit,也称High-bias)
b) 合适的拟合：
c) 过拟合(overfit,也称High variance)
什么是过拟合(Overfitting):
如果我们有非常多的特征，那么所学的Hypothesis有可能对训练集拟合的非常好，但是对于新数据预测的很差。
过拟合例子2：逻辑回归：
与上一个例子相似，依次是欠拟合，合适的拟合以及过拟合：
a) 欠拟合
b) 合适的拟合
c) 过拟合
如何解决过拟合问题：
首先，过拟合问题往往源自过多的特征，例如房价问题，如果我们定义了如下的特征：
那么对于训练集，拟合的会非常完美：
所以针对过拟合问题，通常会考虑两种途径来解决：
a) 减少特征的数量：
-人工的选择保留哪些特征；
-模型选择算法（之后的课程会介绍）
b) 正则化
-保留所有的特征，但是降低参数theta(j)的值；
-正则化的好处是当特征很多时，每一个特征都会对预测y贡献一份合适的力量；
2) Cost Function(成本函数)
依然从房价预测问题开始，这次采用的是多项式回归：
a) 合适的拟合：
b) 过拟合
直观来看，如果我们想解决这个例子中的过拟合问题，最好能将(x^3,x^4)的影响消除，也就是让(theta3 接近于0,同时theta4也接近于0).
假设我们对theta3,theta4进行惩罚，并且令其很小，一个简单的办法就是给原有的Cost function加上两个略大惩罚项，例如：
这样在最小化Cost function的时候，就可以使得正则化：
参数(theta0,theta1,...,)取小一点的值，这样的优点：
-“简化”的hypothesis；
-不容易过拟合；
对于房价问题：
-特征包括：(x1,x2,x100)
-参数包括：(theta_0,theta_1,theta_n)
我们对除(theta_0)之外的参数进行惩罚，也就是正则化：
正式的定义：经过正则化的Cost Function有如下的形式：
其中lambda称为正则化参数，我们的目标依然是最小化J(theta)
例如，对于正则化的线性回归模型来说，我们选择theta来最小化如下的正则化成本函数：
将 lambda 设置为一个极大的值（例如对于我们的问题，设lambda = 10^10） 如果
-算法依然会正常的工作,将 lambda设置的很大不会影响算法本身；
-算法在去除过拟合问题上会失败；
-算法的结构将是欠拟合（underfitting),即使训练数据非常好也会失败；
-梯度下降算法不一定会收敛；
这样的话，除了theta0，其他的参数都约等于0,h_theta(x) = theta0,将得到类似如下的欠拟合图形：
关于正则化，以下引自李航博士《统计学习方法》1.5节关于正则化的一些描述：
模型选择的典型方法是正则化。正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项(regularizer)或罚项(penalty term)。正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化值就越大。比如，正则化项可以是模型参数向量的范数。
正则化符合奥卡姆剃刀(Occam's razor)原理。奥卡姆剃刀原理应用于模型选择时变为以下想法：在所有可能选择的模型中，能够很好地解释已知数据并且十分简单才是最好的模型，也就是应该选择的模型。从贝叶斯估计的角度来看，正则化项对应于模型的先验概率。可以假设复杂的模型有较大的先验概率，简单的模型有较小的先验概率。
3) Regularized Linear Regression(线性回归的正则化)
线性回归包括成本函数，梯度下降算法及正规方程解法等几个部分，不清楚的读者可以回顾第二课及第三课的笔记，这里将分别介绍正则化后的线性回归的成本函数，梯度下降算法及正规方程等。
首先来看一下线性回归正则化后的Cost function:
我们的目标依然是最小化J(theta)，从而得到相应的参数theta. 梯度下降算法是其中的一种优化算法，由于正则化后的线性回归Cost function有了改变，因此梯度下降算法也需要相应的改变：
注意，对于参数theta，梯度下降算法需要区分theta0和theta1,theta2,theta_n。
同样的正规方程的表达式也需要改变，对于：
X 是m * (n+1)矩阵
y是m维向量：
正则化后的线性回归的normal Equation的公式为：
假设样本数m小于等于特征数x,如果没有正则化，线性回归normal eqation如下：
[theta = (X^T X)^{-1}X^T y]
如果(X^T X)不可逆怎么办？之前的办法是删掉一些冗余的特征，但是线性回归正则化后，如果\(\lambda > 0\)，之前的公式依然有效：
其中括号中的矩阵可逆。
4) Regularized Logistic Regression(逻辑回归的正则化)
和线性回归相似，逻辑回归的Cost Function也需要加上一个正则化项（惩罚项），梯度下降算法也需要区别对待参数(theta).
再次回顾一些逻辑回归过拟合的情况，形容下面这个例子：
其中Hypothesis是这样的：
逻辑回归正则化后的Cost Function如下：
梯度下降算法如下：
其中h_theta(x) = \frac{1}{1+e^{-\theta^Tx}}\).
参考资料：
http://en.wikipedia.org/wiki/Regularization_%28mathematics%29
http://en.wikipedia.org/wiki/Overfitting
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
