学习了那么多的深度学习算法，损失函数总是绕不过去的点，但好在一般情况下使用的损失函数都比较固定，偶尔会有一些随缘性的改变。这里主要列举了一些常用的损失函数。
L1-loss
L1损失函数，又称平均绝对误差(Mean Absolute Error, MAE)。数学表达式如下：
\[ MAE = \frac{1}{n}\sum^n_{i=1}\vert f(x_i)-y_i\vert \]
其中\(n\)表示训练批次样本数量，\(f(x_i)\)表示模型在样本\(x_i\)处的预测值，\(y_i\)为样本\(x_i\)对应的真实值。
L2-loss
L2损失函数，又称均方误差(Mean Square Error, MSE)。数学表达式如下：
\[ MSE = \frac{1}{n}\sum^n_{i=1}(f(x_i)-y_i)^2 \]
其中\(n\)表示训练批次样本数量，\(f(x_i)\)表示模型在样本\(x_i\)处的预测值，\(y_i\)为样本\(x_i\)对应的真实值。
Smooth L1 loss
L1损失函数对数据离群点并不敏感，而L2损失则过于敏感。为了让训练变得平稳，才提出了该损失函数。具体如下：
\[ loss(x_i) = \begin{cases} 0.5 * (f(x_i)-y_i)^2, \ &\vert f(x_i)-y_i\vert <1 \\ \vert f(x_i)-y_i\vert - 0.5, \ &\text{otherwise} \end{cases} \]
这里只展示了对于样本\(x_i\)的损失计算，\(f(x_i)\)表示模型在样本\(x_i\)处的预测值，\(y_i\)为样本\(x_i\)对应的真实值。
Cross Entropy loss
交叉熵损失函数(CE)主要用于分类算法中。
对于0-1分类，有
\[ loss(x_i) = -y_i * log(p_i)-(1-y_i) * log(1-p_i) \]
其中\(p_i\)表示模型将样本\(x_i\)预测为正类的概率，\(y_i\)为样本\(x_i\)对应的真实类别，正样本为1负样本为0。
对于多分类，有
\[ loss(x) = -\sum^c_{j=1}y_i * log(p_i) \\ y_i = \begin{cases} 1, \ &\text{the label of x is i} \\ 0, \ &\text{otherwise} \end{cases} \]
其中\(p_i\)为模型将样本预测为类别\(i\)的概率，一般模型会通过softmax后在计算交叉熵损失。
Focal loss
这个损失函数是为了解决正负样本不均衡的情况，主要是针对单阶目标检测算法中锚框的正负样本比例失调的情况。
令
\[ p_t = \begin{cases} p, \ & y=1 \\ 1-p, \ & y=0 \end{cases} \]
则可将交叉熵损失函数统一为：
\[ loss = -log(p_t) \]
为了调节正负样本的比例，一个自然的想法就是用一个系数进行加权，如下：
\[ loss = -\alpha_t * log(p_t) \\ \alpha_t = \begin{cases} \alpha, \ & y=1 \\ 1-\alpha, \ & y=0 \end{cases} \]
但这样处理并不能区分出简单样本和困难样本，正常情况下，简单样本的数量要比困难样本数量多得多。最后换用自适应系数后如下：
\[ loss = -(1-p_t)^\gamma * log(p_t) \]
作者在实验中发现对自适应系数作调整，模型效果会有轻微提升，所以最后损失函数如下：
\[ loss = -\alpha(1-p_t)^\gamma * log(p_t) \]
其中\(\alpha\)和\(\gamma\)都为超参数。作者在自己的模型熵实验显示\(\alpha=0.25\)，\(\gamma=2\)时效果最好。该函数仅在计算分类损失时用到，具体可参考Retina模型的损失函数。