线性回归
linear regression
符号定义
notation，仅为本教程中的符号定义。
$m$
训练集中样本的数量
$x$
输入值，features。
$x^{(i)}$，表示第$i$个样本的features
$y$
输出值，target
$y^{(i)}$，表示第$i$个样本的label
$\theta_i$
parameters，第$i$个模型参数
$h_\theta$
hypothesis（假设），这是一个在早期被用于机器学习的名称算法得到的函数（$x$到$y$）
$h_\theta(x)=\theta_0+\theta_1x$
$(x,y)$代表一个样本，$(x^{(i)},y^{(i)})$代表第$i$个样本
代价函数
cost function，有很多种。
符号是$J(\theta_1,\theta_2)$。
平方误差函数
square error function，最小二乘法。
对于大多数问题，特别是回归问题，平方误差函数都是一个合理的选择。
梯度下降
gradient descent，可以用梯度下降法使各种各样的代价函数$J$最小化
它不仅被用在线性回归上，实际上被广泛地应用于机器学习的众多领域。
符号定义
$:=$
赋值
$=$
相等
$\alpha$
是个数字，叫做学习速率，它控制以多大的幅度更新参数$\theta$
注意
多个$\theta$需要同时更新（如果不同时，可能也能得到答案，但就并不是人们所指的梯度下降了，而是其他性质的其它算法），所以应该先计算，最后再同时更新$\theta$
在梯度下降法中，当我们接近局部最低点时，梯度下降法会自动采取更小的幅度。
因为当我们接近局部最低点时，导数会变得越来越小，所以梯度下降将自动采取较小的幅度。
据上，可知实际上没有必要在接近局部最低点的时候减小$\alpha$。
梯度下降法求得的可能是局部最优解
但线性回归的成本函数总是一个凸函数（convex function），凸函数使用梯度下降法求得最小值就是全局最小值。
“Batch” Gradient Descent
“Batch”指的是梯度下降的每一步都使用所有的训练样本。
矩阵和向量
向量指的是列向量，4维的向量指的就是4行1列的矩阵。
按照惯例，通常用大写字母表示矩阵，用小写字母表示数字、标量或向量。
多元线性回归
符号定义
$n$
特征的数量，形成一个$m$行$n$列的矩阵
特征缩放
features scaling
处理不同feature之间的数量级差异，使梯度下降收敛速度更快，否则可能会收敛得很慢
方法有很多种：
- $\frac{x}{x_{max}}$
- $\frac{x-x_{mean}}{x_{max}}$
- $\frac{x-x_{mean}}{标准差}$
- $\frac{x-x_{mean}}{x_{max}-x_{min}}$
学习率
学习率$\alpha$的选取是十分重要的。
学习率太小，收敛会很慢；学习率太大，代价函数的值可能不会每步都在减小，或者无法收敛。
学习率一般都是试出来的。
可以用自动收敛测试来判断代价函数是否已经收敛；也可以以迭代次数为横轴，代价函数的最小值为纵轴作图，通过观察判断。
自动收敛测试
当某步时，代价函数的减小值很小（比如小于$10^{-3}$，这个阈值也是不好确定的）时，则认为代价函数已经收敛。
多项式回归
基于已有特征构造新的特征（乘积或次方）
正规方程
nomal equation
线性方程组有解的话，使用该方法即可，可以一次性求得最优解，不需使用梯度下降法之类的迭代算法，求得的是解析解。
正规方程法不需要特征缩放。
$X^TX$不可逆的情况很少出现，如果不可逆，就用它的伪逆。
梯度下降与正规方程对比
| 梯度下降 | 正规方程 |
|---|---|
| 不需要选择学习率 | 需要选择学习率 |
| 需要多次迭代 | 不需要迭代 |
| $n$很大时效果也很好 | 需要计算矩阵的逆，$n$很大时速度很慢 |
作者：@臭咸鱼
转载请注明出处：https://www.cnblogs.com/chouxianyu/
欢迎讨论和交流!