AI从零开始之线性回归系数评估

从本节开始,我们来关注有监督学习中的最简单的方法,线性回归。虽然它很简单,但从实际情况来看,对于定量的情况分析中,它是非常有用的。虽然现在有很多更好更新的方法可以用来进行预测,但是线性回归仍然可以说是他们的基础。因此,线性回归的重要性也就不言而喻了。

顾名思义,线性回归就是说变量X和预测值Y之间是简单的近似线性的关系,我们可以用下面的公式表示:

Y\approx a+bX

这里的a和b是两个我们不知道的常量,我们称之为截距(intercept)和斜率(slope)。a和b就是我们所说的模型系数或者称之为参数。当我们用我们的training data来预测了\hat{a}\hat{b}之后,我们就可以用他们来进行预测x对应的值:

\hat{y}=\hat{a}+\hat{b}x

现在假设我们现在有n个观察数据,我们记为(x_{1},y_{1}), (x_{2},y_{2}),…,(x_{n},y_{n}),那么我们的目标就很简单了,我们需要得到一组\hat{a}\hat{b},使得y_{i}\approx \hat{a}+\hat{b}x,其中i=1,….,n,也就是说我们要找到\hat{a}\hat{b}使得所有的这些观察数据和最终的结果的那条线足够接近。那么怎么评估这个远近呢,一个比较流行的方法就是最小二乘准则(least squares criterion)。

那什么是最小二乘准则呢,我们现在假设对第i个观察点的预测值 \hat{y}=\hat{a}+\hat{b}x_{i},那么e_{i}=y_{i}-\hat{y}_{i}就表示第i个观察点的残差,他其实就是第i个观察点的真实的值和预测值之间的差别。我们可以用下面公式来定义残差平方和(residual sum of squares RSS):

RSS=e_{1}^{2}+e_{2}^{2}+...+e_{n}^{2}

我们把上面的公式带入就可以写成这样:

RSS=(y_{1}-\hat{a}-\hat{b}x_{1})^{2}+(y_{2}-\hat{a}-\hat{b}x_{2})^{2}+...+(y_{n}-\hat{a}-\hat{b}x_{n})^{2}

那么当RSS最小的时候, \hat{a}\hat{b}的值是多少呢,我们见下图的推导:

图一 RSS最小的推导

所以我们可以得到当RSS最小时:

\hat{a}=\bar{y}-\hat{b}\bar{x}

\hat{b}=\frac{\bar{xy}-\bar{x}\bar{y}}{\bar{x^{2}}-(\bar{x})^{2}}

至此,我们就把线性回归下满足RSS最小的时候的 \hat{a}\hat{b}的值。

转载请注明出处:

AI从零开始之线性回归系数评估

更多精彩内容,请关注公众号:随手记生活

No Comments

Leave a Reply

Your email address will not be published.