机器学习–线性回归与梯度算法

标签：图片优化分享图片梯度sarsrcrandgre最小

线性回归(Linear Regression)，亦称为直线回归，即用直线表示的回归，与曲线回归相对。若因变量Y对自变量X1、X2…、Xm的回归方程是线性方程，即μy＝β0 +β1X1 +β2X2 +…βmXm，其中β0是常数项，βi是自变量Xi的回归系数，M为任何自然数。这时就称Y对X1、X2、…、Xm的回归为线性回归。

简单回归：

只有一个自变量的线性回归称为简单回归，如下面示例：

X表示某商品的数量，Y表示这些不同数量商品的总价格

x=[0, 1, 2, 3, 4, 5]

y=[0, 17, 45, 55, 85, 99]

二维坐标中绘图如下图:

现在当商品数量 X = 6时，估计商品总价是多少？

我们可以很明显的看到，商品总价随商品的数量上升而上升，这是一个典型的线性回归。

因为只有一个自变量X，我们假设线性回归模型： Y = a * X + b

我们需要求出最合适的a，b值，使得直线：Y = a * X + b 与上图的趋势相拟合，这时候才能去预测不同商品数量X下的总价Y。

最小二乘法：

为了求出最合适的a b ，我们引入最小二乘法。

最小二乘法，亦称最小二乘法估计。由样本观测值估计总体参数的一种常用方法。它用于从n对观测数据(x1，y1)，(x2，y2)，……，(xn，yn)确定x与y之间对应关系y=f(x)的一种最佳估计，使得观测值与估计值之差(即偏差)的平方和 H为最小。

最小二乘法能尽量消除偶然误差的影响，从而由一组观测数据求出最可靠、最可能出现的结果。

由上图我们可以很明显的看出直线Y = a * X + b过原点，即 b = 0

我们尝试不同的a值 得到的结果如下：

a = 19 时 H = 154

a = 20 时 H = 85

a = 21 时 H = 126

图像分别如下：

我们可以粗略得出结论 a = 20，b = 0 时，线性模型 Y = 20 * X 与样本数据拟合的比较好。

所以当商品数量 X = 6 时，我们可以粗略估计总价Y = 20 * 6 = 120

多元回归：

大于一个自变量的线性回归叫做多元回归。

上面的例子只是一个自变量，处理起来比较简单，但是若自变量有很多，假设自变量有m个，为 [ x1,x2,x3,x4…..xm ]

这时候我们假设的回归系数（即权重）也需要有m个，即我们假设的线性模型是 Y = X0 + X1*W1 + X2*W2 + X3*W3 + ……. + Xm*Wm

为了计算方便，我们去W0 = 1

这样：Y = X0*W0 + X1*W1 + X2*W2 + X3*W3 + ……. + Xm*Wm

写成向量形式：

W = [W0,W1 , W2 ,W3 , …. ,Wm]

X = [X0, X1 , X2 , X3 , …. , Xm]

Y = WT * X （WT为向量W的转置）

观测值与估计值之差(即偏差)的平方和：