李宏毅机器学习课程笔记-2.3欠拟合与过拟合

欠拟合(Underfitting)

定义

Bias较大、Variance较小。

如果模型在训练集上的误差很大,则此时Bias是大的,情况为欠拟合。

Bias大时如何处理

使用更复杂的模型,比如添加考虑更多维度的输入、把线性模型换成非线性模型。

过拟合(Overfitting)

定义

Bias较小、Variance较大。

如果模型在训练集上的误差很小,但是在测试集上的误差很大,则此时Variance是大的,情况为过拟合。

Variance大时如何处理

  • 使用更复杂的数据集

    比如添加数据(很有效,但不一定做得到)、数据增强等方法。

  • 使用更简单的模型(不是根本方法)

    可能是模型过于复杂导致了过拟合,因此可以简化模型缓解过拟合。

  • 正则化(Regularization)

    正则化可能会使Bias增大,所以需要调整正则化的参数。

    如$L_{new}=L_{old}+\lambda \sum(w_i)^2$,其中$\lambda$是一个常数。

    加上正则项$\lambda \sum(w_i)^2$的目的是让函数参数的值尽可能地接近0,使函数变得更平滑。

平滑(Smooth)

定义

平滑是指输入变化影响输出变化的程度(输出对输入的敏感程度)。

假设输入变化,如果函数越不平滑,则输出变化程度越大。

函数参数越接近0,这个函数就越平滑(smooth)。

我们为什么喜欢一个平滑的函数?

适度平滑的函数可以缓解函数输入中包含的噪声对函数输出的影响。

如果输入中包含一些噪声/干扰(noise),那平滑函数的输出受输入中包含的噪声干扰的程度更小。

我们为什么不喜欢过于平滑的函数?

函数过于平滑,就无法有效地提取数据的特征,这不是我们想要的函数。

假设有一个极限平滑的函数,即该函数的输出不受输入的影响,那当然不是个好的函数。


Github(github.com):@chouxianyu

Github Pages(github.io):@臭咸鱼

知乎(zhihu.com):@臭咸鱼

博客园(cnblogs.com):@臭咸鱼

B站(bilibili.com):@绝版臭咸鱼

微信公众号:@臭咸鱼

转载请注明出处,欢迎讨论和交流!