李宏毅机器学习课程笔记-9.5详解基于LSTM的RNN
1层LSTM神经元的架构根据上述内容，你可能看不出LSTM与RNN有什么关系，接下来具体介绍LSTM在RNN中的应用。
假设我们现在有一些LSTM（下图中白色部分）作为神经元，每个LSTM的memory cell里都存了一个scalar值（下图中红框中内容），把这些scalar连接起来就组成了1个v
...
李宏毅机器学习课程笔记-9.4LSTM入门
LSTM即Long Short-term Memory。
基本概念前几篇文章提到的RNN都比较简单，可以任意读写memory，没有进一步对memory进行管理。现在常用的memory管理方式是LSTM。正如其名，LSTM是比较长的短期记忆，-是在short和term之间。前几篇提到的RNN在有新的输
...
李宏毅机器学习课程笔记-9.3RNN的应用
在Slot Filling中，输入是1个word vector，输出是每个word的label，输入和输出是等长的。
然而，RNN还可以实现多对1、多对多…
Many to OneMany to One：输入是1个vector sequence，输出是1个vector
Sentiment Anal
...
李宏毅机器学习课程笔记-9.2如何训练RNN
RNN的损失函数仍然以Slot Filling为例，如下图所示。
对于1个word$x^i$，RNN输出1个one-hot编码的vector $y^i$，求$y^i$和对应label的交叉熵损失（Cross Entropy Loss），将多个word的loss求和即为RNN的损失函数。需要注意的是
...
李宏毅机器学习课程笔记-9.1循环神经网络RNN入门
Slot Filling比如在订票系统中，输入“Arrive Taipei on November 2nd”这样一个序列，我们设置几个slot(槽位)，希望算法能够将关键词“Taipei”放入Destination这个slot，将”November”和”2nd”放入到达时间Time of Arriv
...
李宏毅机器学习课程笔记-8.2图神经网络(Spatial-based Convolution)
术语（Terminology）
Aggregation
Aggregation是Convolution在GNN中的推广。Aggregation就是在某一个layer中用某node及其neighbor的feature得到下一个layer中该node的feature。
Readout
Read
...
李宏毅机器学习课程笔记-7.4基于CNN和PyTorch的食物图片分类
本文为作者学习李宏毅机器学习课程时参照样例完成homework3的记录。
全部课程PPT、数据和代码下载链接：
链接：https://pan.baidu.com/s/1n_N7aoaNxxwqO03EmV5Bjg 提取码：tpmc
代码仓库：https://github.com/chouxianyu
...
PyTorch入门：基于LeNet5和CIFAR10的图片分类
在PyTorch入门：使用PyTorch搭建神经网络LeNet5一文中，我们已经使用PyTorch实现了一个简单的神经网络LeNet5，本文将基于PyTorch使用LeNet5和CIFAR10实现图片分类模型的定义、训练和测试的全过程，代码(有详细注释)如下：
1234567891011121314
...
PyTorch入门：使用PyTorch搭建神经网络LeNet5
前言在本文中，我们基于PyTorch构建一个简单的神经网络LeNet5。
在阅读本文之前，建议您了解一些卷积神经网络的前置知识，比如卷积、Max Pooling和全连接层等等，可以看我写的相关文章：李宏毅机器学习课程笔记-7.1CNN入门详解。
通过阅读本文，您可以学习到如何使用PyTorch构建神
...
李宏毅机器学习课程笔记-8.1图神经网络入门
GNN的用处分类（Classification）比如，有很多不同的化学分子，将其表示成图作为输入，用GNN判断其是否会导致突变，这就是一个有监督分类问题。
生成（Generation）比如，我们需要开发针对新冠病毒的新药，我们可以训练出一个可以生成我们想要的分子（输出形式为图）的GNN，然后用这个G
...