最优化是一个十分困难的问题，通常要精心设计一个目标函数及相关约束，同时还要确保所要优化的问题为凸函数，但现实中的问题大多为非凸函数，针对非凸优化问题，这里有一些基本的优化方法：SGD、Momentum、AdaGrad、RMSProp及Adam等
随机梯度下降(Stochastic Gradient Descent, SGD)
// 随机梯度下降
给定数据集$X=\\{x^{(1)},x^{(2)},...,x^{(n)}\\}$, 数据集标记$Y=\\{y^{(1)}, y^{(2)},...,y^{(n)}\\}$
学习器$f(x;w)$, 学习率（步长）$\alpha$
For 迭代足够多次
{
随机选择数据： $\\{x^{(j)}, y^{(j)}\\}$
计算损失梯度： $\nabla\mathbf{w}=\frac{\partial{L(y^{(j)},f(x^{(j)};w))}}{\partial{w}}$
修改权重： $\mathbf{w_i}=\mathbf{w_i}-\alpha\nabla\mathbf{w}$
}
以上是从数据集中随机选择一条数据进行梯度下降，故在训练过程中会出现很强的随机现象，为了避免这种随机性，可以选择多条数据进行梯度计算，之后再取平均值。
对于学习率，在上面的算法中，学习率一直保持不变，这在训练后期会造成算法在最优解附近振荡的现象，为了消除或缓解这种情况，我们可以在靠近最优解周围时尽可能地减小学习率
综合以上可得以下梯度下降算法
// 学习率衰减最小批量梯度下降
给定数据集$X=\\{x^{(1)},x^{(2)},...,x^{(n)}\\}$, 数据集标记$Y=\\{y^{(1)}, y^{(2)},...,y^{(n)}\\}$
随机采样$m$条数据,训练周期$k$，学习率衰减最低值$b$,学习器$f(x;w)$
初始学习率（步长）$\alpha_0$
For $i <= k$
{
随机采样$m$条数据： $\\{(x^{(i)},y^{(i)}),...,(x^{(m)},y^{(m)})\\}$
计算采样数据平均损失值梯度： $\nabla \mathbf{w} = \frac{1}{m}\sum^m_{j=1}\frac{\partial{L(y^{(j)},f(x^{(j)};w)})}{\partial{\mathbf{w}}}$
计算衰减学习率： $a_i=(i-\frac{i}{k})a_0+\frac{i}{k}b$
修改网络权重： $\mathbf{w}_i=\mathbf{w}_i-\alpha\nabla\mathbf{w}$
}
动量学习法(Momentum)
上面的算法虽然解决了在最优解附近振荡以及随机性的问题，但却不能保证算法找到的解为全局最优解，算法随后有可能找到的是局部最优解，即为鞍点。
为了跳出鞍点，可以借助物理上的概念——动量，冲出鞍点，故有以下动量随机梯度下降法
// 动量学习法
给定数据集$X=\\{x^{(1)},x^{(2)},...,x^{(n)}\\}$, 数据集标记$Y=\\{y^{(1)}, y^{(2)},...,y^{(n)}\\}$
初始速度$v$,随机采样数据大小$m$，训练周期$k$
学习器$f(x;w)$,初始学习率$\alpha$,初始动量参数$\beta$
For $i <= k$
{
随机采样$m$条数据： $\\{(x^{(i)},y^{(i)}),...,(x^{(m)},y^{(m)})\\}$
计算采样数据平均损失值梯度： $\nabla \mathbf{w} = \frac{1}{m}\sum^m_{j=1}\frac{\partial{L(y^{(j)},f(x^{(j)};w)})}{\partial{\mathbf{w}}}$
更新速度： $v=\beta v-\alpha\nabla\mathbf{w}$
更新参数： $\mathbf{w}=\mathbf{w}+v$
}
在实践中，常用的$\beta$取值可为0.5，0.9或0.99，根据具体问题进行调试，但对于$\beta$的调整，并没有$\alpha$的调整重要，因此不太需要作为超参数进行选择，一般取值适当即可。动量学习法在训练后期会出现轻微振荡。
NAG(Nesterov accelerated gradient)
为了解决动量学习法会出现轻微振荡的问题，NAG用$\mathbf{w}-\beta v_{t-1}$近似作为参数下一步会变成的值，故计算梯度时是在未来的位置上，在稀疏数据上表现很好。更新速度表示如下：
$$ v_t = \beta v_{t-1}+\alpha\nabla_\mathbf{w} J(\mathbf{w}-\beta v_{t-1}) $$其中$J(\cdot)$为损失函数。NAG在梯度方向将要改变时，可提前预知，从而减弱这个过程，减少无用迭代。
AdaGrad、Adelta和RMSProp
以上的算法都使用一个全局学习率，所有的参数都是统一步伐整齐向前，但网络中的参数可能不会同时有一致的下降梯度和方向，以下算法针对每个参数单独配置学习率
AdaGrad
该算法其实就是将每一维各自的历史梯度的平方叠加起来，然后在更新的时候除以该历史梯度即可（使用平方的原因是去除梯度的符号，只对梯度的量进行累加）
$$cache_i = cache_i+(\nabla\mathbf{w}_i)^2$$更新参数：
$$\mathbf{w}_i=\mathbf{w}_i-\frac{\alpha}{\sqrt{cache_i}+\delta}\nabla\mathbf{w}_i$$其中$\delta=10^{-7}$, 防止除零导致数值溢出
AdaGrad使得参数在累积的梯度量较小时(<1)，放大学习率，使得网络的训练更加快速，在梯度的累积量较大时(>1)，缩小学习率，延缓网络训练
但AdaGrad随着epoch的增长，学习率降低得很快，即该算法很容易过分降低学习率
Adelta
该方法对Adgard方法中随迭代次数的增多，学习率会变得非常小的情况进行了改进，主要是将$cache$更换为过去梯度平方的衰减平均值。参数更新公式如下：
$$ \begin{aligned} \mathbf{w}_t &= \mathbf{w}_{t-1} - \frac{\alpha}{\sqrt{E[g^2]_t}+\delta}g_t \\ E[g^2]_t &= \frac{1}{t}\sum_{i=1}^t g_i^2 \\ g_t &= \nabla\mathbf{w}_t \end{aligned} $$这个分母相当于梯度的均方根（数理统计中，均方根为数据平方的平均值再开方）。故可简写为下式：
$$ \mathbf{w}_t = \mathbf{w}_{t-1}-\frac{\alpha}{RMS[g]_t}g_t $$求平均值部分可以更换为增量式，并引入超参数$\gamma$（一般设定为0.9）来衡量过去与现在梯度的重要性：
$$ E[g^2]_t = \gamma E[g^2]_{t-1}+(1-\gamma)g_t^2 $$还可将学习率更换为$RMS[\Delta\mathbf{w}]$，这样就不需要预设学习率。
$$ \begin{aligned} \Delta\mathbf{w}_t &= -\frac{RMS[\Delta\mathbf{w}]_{t-1}}{RMS[g]_t}g_t \\ \mathbf{w}_t &= \mathbf{w}_{t-1}+\Delta\mathbf{w}_t \\ \end{aligned} $$RMSProp
为了解决AdaGrad学习率衰减过快的问题，RMSProp算法引入了衰减因子，在进行梯度累积时会对“过去”和“现在”做一个权衡，通过$\beta$来调节衰减量，常用的取值有0.9或0.5
$$cache_i=\beta cache_i+(1-\beta)(\nabla \mathbf{w}_i)^2$$在参数更新阶段，和AdaGrad相同
$$\mathbf{w}_i=\mathbf{w}_i-\frac{\alpha}{\sqrt{cache_i}+\delta}\nabla\mathbf{w}_i$$Adam
该算法是Momentum+RMSProp的微调版本，默认情况下，推荐使用这种优化方法
在开始时梯度会非常小，$r$和$v$经常会接近于0，因此我们还需要对$r$和$v$进行调整
$$ \begin{aligned} vb=\frac{v}{1-\beta^t_1} \\ rb=\frac{r}{1-\beta^t_2} \end{aligned} $$其中$t$表示训练次数，因此该算法仅在训练的前几轮中根据衰减因子来放大各自值，很快$vb$,$rb$会衰减为$v$，$r$
// Adam
给定数据集$X=\\{x^{(1)},x^{(2)},...,x^{(n)}\\}$, 数据集标记$Y=\\{y^{(1)}, y^{(2)},...,y^{(n)}\\}$
初始速度$v$,随机采样数据大小$m$，训练周期$k$
学习器$f(x;w)$,初始学习率$\alpha$,初始动量参数$\beta_1$
学习率衰减参数$\beta_2$, $\delta=10^{-7}$
For $i <= k$
随机采样$m$条数据： $\\{(x^{(i)},y^{(i)}),...,(x^{(m)},y^{(m)})\\}$
计算当前采样数据梯度： $g = \frac{1}{m}\sum^m_{j=1}\frac{\partial{L(y^{(j)},f(x^{(j)};w)})}{\partial{\mathbf{w}}}$
更新当前速度： $v=\beta_1 v+(1-\beta_1)g$
更新当前学习率： $r=\beta_2 r+(1-\beta_2)g^2$
更新训练次数： $t=t+1$
$$ \begin{aligned} vb=\frac{v}{1-\beta^t_1} \\ rb=\frac{r}{1-\beta^t_2} \end{aligned} $$更新新参数：
$$w=w-\frac{\alpha}{\sqrt{rb}+\delta}vb$$