动态计算(Dynamic Computation)就是资源充足时就做到最好,资源不足时就减少运算量、先求有再求好(但也不要太差)。
一种方法是训练多个从小到大的model,然后选择合适的模型,这样的问题是需要存储很多个model。
另外一种方法是,训练一个在中间层就可以得到最终结果的model。因为网络浅层和深层提取到的特征一般分别是低级特征和高级特征,所以在网络浅层得到的结果一般要比在网络深层得到的结果差一些。在网络浅层就计算最终结果可能会迫使网络浅层学习一些高级特征,这会破坏网络从浅层到深层逐步提取低/高级特征的架构。那如何处理这些问题呢?可以看一看Multi-Scale Dense Convolutional Networks:https://arxiv.org/abs/1703.09844
Github(github.com):@chouxianyu
Github Pages(github.io):@臭咸鱼
知乎(zhihu.com):@臭咸鱼
博客园(cnblogs.com):@臭咸鱼
B站(bilibili.com):@绝版臭咸鱼
微信公众号:@臭咸鱼
转载请注明出处,欢迎讨论和交流!