机器学习-线性回归与梯度下降

线性回归

linear regression

符号定义

notation,仅为本教程中的符号定义。

  • $m$

    训练集中样本的数量

  • $x$

    输入值,features。

    $x^{(i)}$,表示第$i$个样本的features

  • $y$

    输出值,target

    $y^{(i)}$,表示第$i$个样本的label

  • $\theta_i$

    parameters,第$i$个模型参数

  • $h_\theta$

    hypothesis(假设),这是一个在早期被用于机器学习的名称算法得到的函数($x$到$y$)

    $h_\theta(x)=\theta_0+\theta_1x$

$(x,y)$代表一个样本,$(x^{(i)},y^{(i)})$代表第$i$个样本

代价函数

cost function,有很多种。

符号是$J(\theta_1,\theta_2)$。

  • 平方误差函数

    square error function,最小二乘法。

    对于大多数问题,特别是回归问题,平方误差函数都是一个合理的选择。

梯度下降

gradient descent,可以用梯度下降法使各种各样的代价函数$J$最小化

它不仅被用在线性回归上,实际上被广泛地应用于机器学习的众多领域。

符号定义

  • $:=$

    赋值

  • $=$

    相等

  • $\alpha$

    是个数字,叫做学习速率,它控制以多大的幅度更新参数$\theta$

注意

  • 多个$\theta$需要同时更新(如果不同时,可能也能得到答案,但就并不是人们所指的梯度下降了,而是其他性质的其它算法),所以应该先计算,最后再同时更新$\theta$

  • 在梯度下降法中,当我们接近局部最低点时,梯度下降法会自动采取更小的幅度。

    因为当我们接近局部最低点时,导数会变得越来越小,所以梯度下降将自动采取较小的幅度。

    据上,可知实际上没有必要在接近局部最低点的时候减小$\alpha$。

  • 梯度下降法求得的可能是局部最优解

    但线性回归的成本函数总是一个凸函数(convex function),凸函数使用梯度下降法求得最小值就是全局最小值。

“Batch” Gradient Descent

“Batch”指的是梯度下降的每一步都使用所有的训练样本。

矩阵和向量

向量指的是列向量,4维的向量指的就是4行1列的矩阵。

按照惯例,通常用大写字母表示矩阵,用小写字母表示数字、标量或向量。

多元线性回归

符号定义

  • $n$

    特征的数量,形成一个$m$行$n$列的矩阵

特征缩放

features scaling

处理不同feature之间的数量级差异,使梯度下降收敛速度更快,否则可能会收敛得很慢

方法有很多种:

  • $\frac{x}{x_{max}}$
  • $\frac{x-x_{mean}}{x_{max}}$
  • $\frac{x-x_{mean}}{标准差}$
  • $\frac{x-x_{mean}}{x_{max}-x_{min}}$

学习率

学习率$\alpha$的选取是十分重要的。

学习率太小,收敛会很慢;学习率太大,代价函数的值可能不会每步都在减小,或者无法收敛。

学习率一般都是试出来的。

可以用自动收敛测试来判断代价函数是否已经收敛;也可以以迭代次数为横轴,代价函数的最小值为纵轴作图,通过观察判断。

自动收敛测试

当某步时,代价函数的减小值很小(比如小于$10^{-3}$,这个阈值也是不好确定的)时,则认为代价函数已经收敛。

多项式回归

基于已有特征构造新的特征(乘积或次方)

正规方程

nomal equation

线性方程组有解的话,使用该方法即可,可以一次性求得最优解,不需使用梯度下降法之类的迭代算法,求得的是解析解。

正规方程法不需要特征缩放。

$X^TX$不可逆的情况很少出现,如果不可逆,就用它的伪逆。

梯度下降与正规方程对比

梯度下降 正规方程
不需要选择学习率 需要选择学习率
需要多次迭代 不需要迭代
$n$很大时效果也很好 需要计算矩阵的逆,$n$很大时速度很慢

作者:@臭咸鱼

转载请注明出处:https://www.cnblogs.com/chouxianyu/

欢迎讨论和交流!