Note: VAE并不是一个只关注重建的模型，它更重要的能力是图像生成，所以VAE并不是一个AE模型，它具备生成能力。
与常见的Autoencoder不同，变分自编码器并不是将输入映射为一个固定的向量，而是映射为一个分布$p_\theta$（参数为$\theta$）。输入数据$\mathbf{x}$与隐变量$\mathbf{z}$的关系如下：
- $p_\theta(\mathbf{z})$：先验概率
- $p_\theta(\mathbf{x}\vert\mathbf{z})$：似然概率
- $p_\theta(\mathbf{z}\vert\mathbf{x})$：后验概率
假设在获得模型最佳参数$\theta^{\star}$后，我们可以通过以下步骤生成符合真实数据分布的样本：
- 从先验概率$p_{\theta^\star}(\mathbf{z})$中采样一个$\mathbf{z}^{(i)}$
- 依据条件概率$p_{\theta^\star}(\mathbf{x}\vert\mathbf{z}=\mathbf{z}^{(i)})$生成$\mathbf{x}^{(i)}$
最优参数$\theta^\star$可以通过最大化恢复真实数据分布的概率得到：
$$ \theta^\star = argmax_\theta\prod_{i=1}^np_\theta(\mathbf{x}^{(i)}) $$转为对数空间可得：
$$ \theta^\star = argmax_\theta\sum\log p_\theta(\mathbf{x}^{(i)}) $$为了引入encoding vector有：
$$ p_\theta(\mathbf{x}^{(i)}) = \int p_\theta(\mathbf{x^{(i)}}\vert\mathbf{z})p_\theta(\mathbf{z})d\mathbf{z} $$依据上式，我们需要遍历所有$\mathbf{z}$来计算，所以实际上$p_\theta(\mathbf{x}^{(i)})$很难得到。作者采用了近似分布的方式来解决这个问题，即对于每个输入样本$\mathbf{x}$，引入了一个由参数$\phi$表达的分布$q_\phi(\mathbf{z}\vert\mathbf{x})$来直接去近似后验概率分布$p_\theta(\mathbf{z}\vert\mathbf{x})$。这样可以保证输入样本、隐变量和重构样本是一一对应的。所以最终VAE的结构与Autoencoder就比较类似了：
- 由近似后验概率$q_\phi(\mathbf{z}\vert\mathbf{x})$来得到隐变量，即encoder部分。$q_\phi(\mathbf{z}\vert\mathbf{x})$也称为probabilistic encoder。
- 由似然概率$p_\theta(\mathbf{x}\vert\mathbf{z})$来生成结果，即相当于decoder部分。$p_\theta(\mathbf{x}\vert\mathbf{z})$也称为probabilistic decoder。
我们期望近似分布$q_\phi(\mathbf{z}\vert\mathbf{x})$与$p_\theta(\mathbf{z}\vert\mathbf{x})$能够尽可能相似。一个自然的想法是最小化它们之间的KL散度$D_{KL}(q_\phi(\mathbf{z}\vert\mathbf{x})\vert\vert p_\theta(\mathbf{z}\vert\mathbf{x}))$。将$D_{KL}$展开化简可得：
$$ \begin{aligned} & D_\text{KL}( q_\phi(\mathbf{z}\vert\mathbf{x}) \vert\vert p_\theta(\mathbf{z}\vert\mathbf{x}) ) \\ =& \log p_\theta(\mathbf{x}) + D_\text{KL}(q_\phi(\mathbf{z}\vert\mathbf{x}) \vert\vert p_\theta(\mathbf{z})) - \mathbb{E}_{\mathbf{z}\sim q_\phi(\mathbf{z}\vert\mathbf{x})}\log p_\theta(\mathbf{x}\vert\mathbf{z}) \end{aligned} $$即：
$$ \begin{aligned} & \log p_\theta(\mathbf{x}) - D_\text{KL}( q_\phi(\mathbf{z}\vert\mathbf{x}) \vert\vert p_\theta(\mathbf{z}\vert\mathbf{x}) ) \\ =& \mathbb{E}_{\mathbf{z}\sim q_\phi(\mathbf{z}\vert\mathbf{x})}\log p_\theta(\mathbf{x}\vert\mathbf{z}) - D_\text{KL}(q_\phi(\mathbf{z}\vert\mathbf{x}) \vert\vert p_\theta(\mathbf{z})) \end{aligned} $$最大化上式就是我们的优化目标，即最大化生成真实数据分布的似然概率，同时最小化近似后验分布与真实后验分布的KL散度。取负号可得损失函数：
$$ \begin{aligned} L_\text{VAE}(\theta, \phi) &= -\log p_\theta(\mathbf{x}) + D_\text{KL}( q_\phi(\mathbf{z}\vert\mathbf{x}) \vert\vert p_\theta(\mathbf{z}\vert\mathbf{x}) )\\ &= - \mathbb{E}_{\mathbf{z} \sim q_\phi(\mathbf{z}\vert\mathbf{x})} \log p_\theta(\mathbf{x}\vert\mathbf{z}) + D_\text{KL}( q_\phi(\mathbf{z}\vert\mathbf{x}) \vert\vert p_\theta(\mathbf{z}) ) \\ \theta^{*}, \phi^{*} &= \arg\min_{\theta, \phi} L_\text{VAE} \end{aligned} \tag{1} $$由于KL散度是非负的，即有：
$$ -L_\text{VAE} = \log p_\theta(\mathbf{x}) - D_\text{KL}( q_\phi(\mathbf{z}\vert\mathbf{x}) \| p_\theta(\mathbf{z}\vert\mathbf{x}) ) \leq \log p_\theta(\mathbf{x}) $$故通过最小化$L_\text{VAE}$，我们可以最大化生成真实数据样本概率的下界。$L_\text{VAE}$也被称为变分下限（VLB，variational lower bound）或证据下限（ELBO，evidence lower bound）。
从上面(1)式中可以看到计算损失函数时需要对分布$q_\phi(\mathbf{z}\vert\mathbf{x})$进行采样，而随机采样过程并不能去计算梯度。VAE论文中采用重参数化技巧（reparameterization trick）将采样过程的随机性转移到其它变量上：
$$ \begin{aligned} \mathbf{z} &\sim q_\phi(\mathbf{z}\vert\mathbf{x}^{(i)}) = \mathcal{N}(\mathbf{z}; \boldsymbol{\mu}^{(i)}, \boldsymbol{\sigma}^{2(i)}\boldsymbol{I}) & \\ \mathbf{z} &= \boldsymbol{\mu} + \boldsymbol{\sigma} \odot \boldsymbol{\epsilon} \text{, where } \boldsymbol{\epsilon} \sim \mathcal{N}(0, \boldsymbol{I}) & \scriptstyle{\text{; Reparameterization trick.}} \end{aligned} $$即先从标准正态分布随机采样一个样本$\mathbf{\epsilon}$，然后乘以VAE encoder部分预测的标准差，再加上encoder预测的均值，这样就能计算该损失对VAE encoder网络参数的梯度了。
$L_\text{VAE}$也可以看成是重建损失和正则化两项的和，其中第一项$\mathbb{E}_{\mathbf{z}\sim q_\phi(\mathbf{z}\vert\mathbf{x})}$对应的是重建损失，而$D_{KL}$则相当于是一个KL正则项。依据数据类型的不同，损失中第一项包含的$p_\theta(\mathbf{x}\vert\mathbf{z})$分布也是不同的，最终得到的重建损失也是不同的。例如当$p_\theta(\mathbf{x}\vert\mathbf{z})$是一个各分量独立的多元高斯分布时，代入相关的表达式得到重建损失就是一个L2损失，而当该分布是一个伯努利分布时，得到的重建损失为交叉熵。
这里有个小注意点。由于KL散度是不对称的，所以为何我们是去最小化$D_{KL}(q_\phi\vert\vert p_\theta)$而不是$D_{KL}(p_\theta\vert\vert q_\phi)$呢？（具体可以参考这篇文章）
$D_{KL}(p_\theta\vert\vert q_\phi)$又被称为Forward KL，而$D_{KL}(q_\phi\vert\vert p_\theta)$称为Reversed KL。对Forward KL展开有：
$$ D_{KL}(p_\theta\vert\vert q_\phi) = \sum_z p_\theta(z)\log\frac{p_\theta(z)}{q_\phi(z)} $$对任意$p_\theta(z) \gt 0$，有$\lim_{q_\phi(z) \to 0} \log \frac{p_\theta(z)}{q_\phi(z)} \to \infty$，这意味着当$q_\phi$不能覆盖$p_\theta$时，Forward KL的值会变得非常大。所以最后得到的$q_\phi$会覆盖整个$q_\theta$，如下图：
对Reversed KL展开有：
$$ D_{KL}(q_\phi\vert\vert q_\theta) = \sum_z q_\phi(z)\log \frac{q_\phi(z)}{p_\theta(z)} $$上式当$p_\theta(z)$为0时，$q_\phi(z)$也必须为0，不然KL散度的值会出现异常。所以最后得到的$q_\phi$会被压缩在$p_\theta$范围内，如下图：
