无监督学习(Unsupervised Learning)可以分为两类：
- 化繁为简
- 聚类(Clustering)
- 降维(Dimension Reduction)
- 无中生有
- 生成(Generation)
在无监督学习(Unsupervised Learning)中，数据集中通常只有$(x,\hat y)$中的$x$或$\hat y$，其中：
- 化繁为简就是把复杂的input变成比较简单的output，比如把一堆未标注的“树”图片转变为一棵抽象的“树”，此时数据集只有input $x$，而没有output $\hat y$。
- 无中生有就是随机给模型一个输入(比如是一个数字)，它就会生成不同图像，此时数据集中没有input $x$，而只有output $\hat y$
聚类
定义
聚类(clustering)就是把”相近“的样本划分为同一类，比如用聚类算法对一些没有标签的图片进行分类，然后人工为这些类别打上cluster 1、cluster 2、cluster 3的标签。
一个critical的open question
在聚类算法中要分几个cluster？不能太多也不能太少，需要empirically决定。
聚类算法的缺点
它强迫每个样本属于并只属于1个cluster，实际上一个样本可能拥有多个cluster的特征，如果强制把它划分到某个cluster，就会失去很多信息。
如果原先的object是high dimension的，比如image，那现在用它的属性来描述自身，就可以使之从高维空间转变为低维空间，这就是所谓的降维(Dimension Reduction)
K-means
最常用的聚类方法是K-means，其目标为将N个无标签样本$\{x^1,…,x^n,…,x^N\}$划分为K个cluster，其算法流程如下：
初始化K个cluster的center：$c^i,i\in \{1,2,…,K\}$
初始化方法可以是从N个样本中随机选取K个样本作为K个center $c^i$的初始值；
如果不从样本中选取center的初始值，最终可能会导致部分cluster中没有样本。
遍历所有样本$x^n$并判断它属于哪个cluster
如果$x^n$与第i个cluster的center $c^i$最“接近”，那$x^n$就属于该cluster；
我们用$b_i^n=1$表示样本$x^n$属于第i个cluster，$b_i^n=0$表示不属于。
更新center：把每个cluster里的所有object取平均值作为新的center值，即$c^i=\sum\limits_{x^n}b_i^n x^n/\sum\limits_{x^n} b_i^n$
反复第2步和第3步
HAC
HAC的全称是Hierarchical Agglomerative Clustering，它是一种层次聚类算法
假设有5个样本，想要通过HAC进行聚类，其步骤为：
build a tree:
过程与哈夫曼树的建树过程类似，只不过哈夫曼树是依据词频建树，而HAC是依据样本相似度建树。
对于所有样本，两两计算相似度并挑出最相似的2个样本，比如样本1和2，将样本点1和2进行merge(比如可以对两个vector取平均)得到代表这2个样本的新“样本”，此时只剩下4个样本，再重复上述步骤合并样本直到只剩下一个样本
pick a threshold
选取相似度阈值，形象来讲就是在已构造的tree上横着切一刀，切到的每个“树枝”就是1个cluster，如下图所示。
HAC和K-means的最大区别在于如何决定cluster的数量。K-means中需要人工确定cluster数量，而HAC中需要人工确定相似度阈值。
降维
降维即Dimension Reduction。
引入降维
聚类算法的假设是每个样本属于并只属于1个cluster，但实际上一个样本可能拥有多个cluster的特征，如果强制把它划分到某个cluster，就会失去很多信息。所以可以用一个vector来描述1个样本，该vector的每一维表示样本的某一种属性，这种做法就叫Distributed Representation/Dimension Reduction。
降维作用原理
因为数据存在冗余。比如MNIST手写数字图片是28×28的matrix，反过来想，一个任意的28×28的matrix转成图片看起来应该都不会是个数字，或许我们并不需要这么大的数据量来描述数字。
如何实现降维
Dimension Reduction就是要找一个function，其输入是原始的高维特征$x$，其输出是降维后的低维特征$z$，其中$z$的维度数比$x$少。
最简单的Dimension Reduction是Feature Selection，即直接将高维数据中一些直观上认为无效的维度删除，这样就做到了降维。但Feature Selection不总是有用，因为很多情况下每个维度其实都不能被直接删除，甚至我们不知道哪些维度可以删除哪些维度不可以删除。
生成
略
Github（github.com）：@chouxianyu
Github Pages（github.io）：@臭咸鱼
知乎（zhihu.com）：@臭咸鱼
博客园（cnblogs.com）：@臭咸鱼
B站（bilibili.com）：@绝版臭咸鱼
微信公众号：@臭咸鱼
转载请注明出处，欢迎讨论和交流!