李宏毅机器学习课程笔记-13.6模型压缩代码实战
本文为作者学习李宏毅机器学习课程时参照样例完成homework7的记录。
全部课程PPT、数据和代码下载链接：
链接：https://pan.baidu.com/s/1n_N7aoaNxxwqO03EmV5Bjg 提取码：tpmc
代码仓库：https://github.com/chouxianyu
...
李宏毅机器学习课程笔记-13.5模型压缩之动态计算
动态计算（Dynamic Computation）就是资源充足时就做到最好，资源不足时就减少运算量、先求有再求好(但也不要太差)。
一种方法是训练多个从小到大的model，然后选择合适的模型，这样的问题是需要存储很多个model。
另外一种方法是，训练一个在中间层就可以得到最终结果的model。因为
...
李宏毅机器学习课程笔记-13.4模型压缩之架构设计
调整Network的架构设计（Architecture Design），让它变得只需要比较少的参数，这是在实际操作中最有效的做法。
Low Rank Approximation如果是Fully Connected Network，前一层和后一层分别有N、M个neuron则需要$N\times M$个
...
李宏毅机器学习课程笔记-13.3模型压缩之参数量化
参数量化就是Parameter Quantization。
用更少的bit表示一个value
比如说本来用32位表示一个weight，现在用16位表示一个weight，这样就缩小了一半。
Weight Clustering
根据weight的值对weight进行聚类，每个类中的weight都
...
李宏毅机器学习课程笔记-13.2模型压缩之知识蒸馏
知识蒸馏就是Knowledge Distillation。
Knowledge Distillation：https://arxiv.org/abs/1503.02531
Do Deep Nets Really Need to be Deep?：https://arxiv.org/abs/1312.
...
李宏毅机器学习课程笔记-13.1模型压缩之网络剪枝
Motivation网络剪枝（Network Pruning）就是删除一个较大网络中的一些weight或neuron得到一个更小的网络。
我们相信，通常情况下我们训练出的神经网络是over-parameterized，即其中存在很多weight或neuron是没有用的(比如有些neuron的输出总是
...
李宏毅机器学习课程笔记-12.4对抗攻击代码实战
本文为作者学习李宏毅机器学习课程时参照样例完成homework6的记录。
全部课程PPT、数据和代码下载链接：
链接：https://pan.baidu.com/s/1n_N7aoaNxxwqO03EmV5Bjg 提取码：tpmc
代码仓库：https://github.com/chouxianyu
...
李宏毅机器学习课程笔记-12.3对抗防御入门
What is Defense有人说模型容易被攻破是因为过拟合，但其实并不是，因为weight regularization、dropout、model ensemble都不能抵挡Adversarial Attack，并且Attack可以攻击多个model。
Defense分为两类：
Passiv
...
李宏毅机器学习课程笔记-12.2对抗攻击进阶
Universal Adversarial AttackAttack可以是分别为每个输入$x^0$找到对应的攻击信号$\Delta x$，还可以是找到一个适用于所有输入的攻击信号$\Delta x$，这就是Universal Adversarial Attack，详见：Universal adver
...
李宏毅机器学习课程笔记-12.1对抗攻击入门
Motivation我们希望我们的模型不仅仅是在大多数情况下可用的，还希望它能够应对来自外界的“攻击”，特别是在垃圾邮件分类、恶意软件检测、网络入侵检测等任务中。
这个领域为对抗攻击与防御（Adversarial Attack and Defense），目前攻击是比较容易的而防御比较困难。
What
...