明确问题类型及其对应方法
在深度学习中，一般有两种问题：
- 在训练集上性能不好
- 在测试集上性能不好。
当一个方法被提出时，它往往是针对这两个问题其中之一的，比如dropout方法是用来处理在测试集上性能不好的情况。
处理神经网络在训练集上性能不好的情况的方法
修改神经网络架构，比如换成更好的激活函数
sigmoid函数会导致梯度消失，可以换成ReLU、Leaky ReLU、Parametric ReLU、Maxout
调整学习率
比如RMSProp、Momentum、Adam
处理神经网络在测试集上性能不好的情况的方法
Early Stopping、Regularization，这两个是比较传统的方法，不只适用于深度学习
Dropout，比较有深度学习的特色
一些性能优化方法的简介
下面3点都是在增加模型的随机性，鼓励模型做更多的exploration。
Shuffling
输入数据的顺序不要固定，mini-batch每次要重新生成
Dropout
鼓励每个神经元都学到东西，也可以广义地理解为增加随机性
Gradient noise
2015年提出，计算完梯度后，加上Gaussian noise。
随着迭代次数增加，noise应该逐渐变小。
下面3点是关于学习率调整的技巧
warm up
开始时学习率较小，等稳定之后学习率变大
Curriculum learning
2009年提出，先使用简单的数据训练模型（一方面此时模型比较弱，另一方面在clean data中更容易提取到核心特征），然后再用难的数据训练模型。
这样可以提高模型的鲁棒性。
Fine-tuning
下面3点是关于数据预处理的技巧，避免模型学习到太极端的参数
Normalization
有Batch Normalization、Instance Normalization、Group Normalization、Layer Normalization、Positional Normalization
Regularization
Github（github.com）：@chouxianyu
Github Pages（github.io）：@臭咸鱼
知乎（zhihu.com）：@臭咸鱼
博客园（cnblogs.com）：@臭咸鱼
B站（bilibili.com）：@绝版臭咸鱼
微信公众号：@臭咸鱼
转载请注明出处，欢迎讨论和交流!