ResNet50网络结构图及结构详解
[toc]
引言之前我读了ResNet的论文Deep Residual Learning for Image Recognition，也做了论文笔记，笔记里记录了ResNet的理论基础（核心思想、基本Block结构、Bottleneck结构、ResNet多个版本的大致结构等等），看本文之间可以先看看
...
ResNet论文阅读笔记
[toc]
基本信息
论文名称
Deep Residual Learning for Image Recognition
作者
Kaiming He
Microsoft Research
发表时间
2015年
来源
CVPR2016
主要收获
知识
较深的神经网络难以训
...
李宏毅机器学习课程笔记-6.4学习率调整方法
RMSProp2013年Hinton在Coursera提出。
背景
RMSProp是Adagrad的升级版。
在训练神经网络时，损失函数不一定是凸函数（局部最小值即为全局最小值），可能是各种各样的函数，有时需要较大的学习率，有时需要较小的学习率，而Adagrad并不能实现这种效果，因此产生
...
李宏毅机器学习课程笔记-6.3常用激活函数
[toc]
梯度消失（Vanishing Gradient Problem）
定义
1980年代常用的激活函数是sigmoid函数。以MNIST手写数字识别为例，在使用sigmoid函数时会发现随着神经网络层数增加，识别准确率逐渐下降，这个现象的原因并不是过拟合（原因见上文），而是梯度消失。
...
李宏毅机器学习课程笔记-6.2神经网络精度低不一定是因为过拟合
相比于决策树等方法，神经网络更不容易过拟合。
K近邻、决策树等方法在训练集上更容易得到100%等很高的正确率，神经网络一般不能，训练神经网络首先遇到的问题一般是在训练集上的精度不高。
不要总是把精度低归咎于过拟合
如果模型在训练集上精度高，对于K近邻、决策树等方法我们可以直接判断为过拟合
...
李宏毅机器学习课程笔记-6.1神经网络训练问题与解决方案
明确问题类型及其对应方法在深度学习中，一般有两种问题：
在训练集上性能不好
在测试集上性能不好。
当一个方法被提出时，它往往是针对这两个问题其中之一的，比如dropout方法是用来处理在测试集上性能不好的情况。
处理神经网络在训练集上性能不好的情况的方法
修改神经网络架构，比如换成更好的激活函数
...
PAT甲级1055The World's Richest
[toc]
题目介绍
题目链接
https://pintia.cn/problem-sets/994805342720868352/problems/994805421066272768
题目考点
排序，重点在时间复杂度优化上
题目难度
PAT甲级25分
题目大意
给出N个人，
...
PAT甲级1028List Sorting
[toc]
题目介绍
题目链接
https://pintia.cn/problem-sets/994805342720868352/problems/994805468327690240
题目考点
结构体排序，就超简单……
题目难度
PAT甲级25分
题目大意
Excel可以按
...
PAT甲级1025PAT Ranking
[toc]
题目介绍
题目链接
https://pintia.cn/problem-sets/994805342720868352/problems/994805474338127872
题目考点
排序、模拟。排序是简单的结构体排序，模拟也不难。这题比较简单（我竟然没看题解做出来了，捂脸）
...
PAT甲级1016Phone Bills
[toc]
题目介绍
题目链接
https://pintia.cn/problem-sets/994805342720868352/problems/994805493648703488
题目考点
map、排序、模拟。map是简单地用了一下，排序也不难，重在模拟。
题目难度
PAT甲级2
...